[논문 리뷰] Cross-Domain Generalization of Neural Constituency Parsers

Daniel Fried, Nikita Kitaev외 1명|arXiv (Cornell University)|2019. 07. 09.

Natural Language Processing Techniques참고 문헌 33인용 수 4

한 줄 요약

이 논문은 신경 구성 구문 분석기의 제로샷 교차 도메인 일반화를 조사하며, 사전 훈련된 인코더가 다양한 도메인에서 성능을 향상시키지만, 도메인 외 테스트 세트에 대해 특별히 유리한 성능 향상을 가져오지 않는다는 점을 보여준다. 핵심적으로, 구조적 예측(내림차순 복구 방식)은 강력한 BERT 기반 인코더를 사용하는 경우에도 긴 구문과 도메인 외 데이터로의 일반화 능력을 크게 향상시키며, 정확한 매칭 정확도를 높인다.

ABSTRACT

Neural parsers obtain state-of-the-art results on benchmark treebanks for constituency parsing -- but to what degree do they generalize to other domains? We present three results about the generalization of neural parsers in a zero-shot setting: training on trees from one corpus and evaluating on out-of-domain corpora. First, neural and non-neural parsers generalize comparably to new domains. Second, incorporating pre-trained encoder representations into neural parsers substantially improves their performance across all domains, but does not give a larger relative improvement for out-of-domain treebanks. Finally, despite the rich input representations they learn, neural parsers still benefit from structured output prediction of output trees, yielding higher exact match accuracy and stronger generalization both to larger text spans and to out-of-domain corpora. We analyze generalization on English and Chinese corpora, and in the process obtain state-of-the-art parsing results for the Brown, Genia, and English Web treebanks.

연구 동기 및 목표

• 사전 미세조정 없이 신경 구성 구문 분석기가 도메인 외 텍스트로 얼마나 잘 일반화되는지 평가하기 위해.
• 다양한 도메인에서 신경 및 비신경 구문 분석기의 제로샷 일반화 성능를 비교하기 위해.
• 사전 훈련된 언어 표현(예: BERT)이 도메인 외 트리뱅크에 대해 더 큰 상대적 향상을 가져오는지 평가하기 위해.
• 강력한 입력 표현을 제공하는 경우에도 구조적 출력 예측이 일반화 능력을 향상시키는지 조사하기 위해.
• 개선된 일반화를 통해 Brown, Genia, 그리고 영문 웹 트리뱅크에서 최신 기준 성능을 확립하기 위해.

제안 방법

• 도메인 내 WSJ 및 CTB 트리뱅크에서 최신 기술의 신경 구문 분석기(Chart 및 In-Order)를 훈련시켰다.
• 제로샷 설정에서 도메인 외 영어(Brown, Genia, EWT) 및 중국어(CTB) 코퍼스에서 일반화 성능을 평가하였다.
• 두 신경 구문 분석기 아키텍처에 BERT 기반 사전 훈련된 인코더를 통합하여 도메인 일반화에 미치는 영향을 평가하였다.
• 구조적 복구(이전에 예측된 구조를 조건으로 삼는 In-Order)와 비구조적 복구(스팬을 독립적으로 예측하는 Chart)를 비교하였다.
• 스팬 길이에 따라 분류된 분석을 포함하여 F1 점수와 정확한 매칭 정확도를 측정하였다.
• 표준 벤치마크 분할을 사용하였으며, 직접 비교를 위해 이전 연구에서 보고한 테스트 세트 결과를 보고하였다.

실험 결과

연구 질문

• RQ1 신경 구성 구문 분석기가 제로샷 설정에서 비신경 구문 분석기만큼 도메인 외 코퍼스로 일반화되는가?
• RQ2 사전 훈련된 언어 표현(예: BERT)이 도메인 내 트리뱅크보다 도메인 외 트리뱅크에서 더 큰 상대적 향상을 가져오는가?
• RQ3 강력한 사전 훈련된 인코더를 사용하는 경우에도 구조적 예측(예: 전이 기반 복구 방식)이 긴 어구와 도메인 외 텍스트로의 일반화 능력을 향상시키는가?
• RQ4 도메인 내 벤치마크(예: WSJ)에서의 성능 향상이 도메인 외 설정으로 신뢰성 있게 전이되는가?
• RQ5 스pan 길이에 따라 도메인을 가리지 않고, 구조적 및 비구조적 신경 구문 분석기 간의 정확한 매칭 정확도는 어떻게 비교되는가?

주요 결과

• 신경 및 비신경 구문 분석기 간에 도메인 외 코퍼스로의 일반화 능력은 유사하며, 다양한 도메인에서 유사한 상대적 성능 저하가 관찰된다.
• 사전 훈련된 BERT 인코더는 모든 도메인에서 F1 점수를 향상시키지만, 도메인 내 및 도메인 외 세트 간 상대적 오류 감소율은 유사하여, 도메인 외 일반화에 대해 특별한 이점이 있음을 보여주지 않는다.
• In-Order 구문 분석기(구조적 복구)는 모든 도메인에서 Chart 구문 분석기(비구조적 복구)보다 높은 정확한 매칭 정확도를 기록하며, 절대적 향상은 0.5에서 2.8%p 범위이다.
• 긴 구문(≥30~40단어)에서는 In-Order 구문 분석기가 F1 점수에서 Chart 구문 분석기보다 뚜렷이 뛰어나며, 성능 격차는 긴 길이에서만 나타나고, 도메인 내 WSJ 테스트 세트에서는 관찰되지 않는다.
• 도메인 내 데이터에서 F1 점수가 유사하더라도, 구조적 In-Order 구문 분석기는 도메인 외 코퍼스와 긴 어구로의 일반화 능력에서 더 뛰어나며, 이는 구조적 예측이 강건성을 향상시킨다는 것을 보여준다.
• 저자들은 앙상블 또는 자기학습 없이도 Brown, Genia, 그리고 영문 웹 트리뱅크에서 최신 기준 F1 점수를 확립하였다.