[논문 리뷰] Multilingual Constituency Parsing with Self-Attention and Pre-Training

Nikita Kitaev, Steven Cao외 1명|arXiv (Cornell University)|2018. 12. 31.

Topic Modeling참고 문헌 16인용 수 17

한 줄 요약

이 논문은 BERT 기반 자기주의 및 사전 훈련을 활용하여 11개 언어에서 최고 성능을 달성하는 다국어 구성 구문 분석기(constituency parser)를 제안한다. 10개 언어에 걸쳐 단일 공유 BERT 모델을 공동으로 미세조정함으로써 모델 크기를 10배 줄였고, F1 점수 오차는 3.2% 상승에 그쳤으며, 이는 자원이 적은 언어가 파rameter 공유와 공동 최적화를 통해 더 큰 훈련 데이터에서 이점을 얻을 수 있음을 의미한다.

ABSTRACT

We show that constituency parsing benefits from unsupervised pre-training across a variety of languages and a range of pre-training conditions. We first compare the benefits of no pre-training, fastText, ELMo, and BERT for English and find that BERT outperforms ELMo, in large part due to increased model capacity, whereas ELMo in turn outperforms the non-contextual fastText embeddings. We also find that pre-training is beneficial across all 11 languages tested; however, large model sizes (more than 100 million parameters) make it computationally expensive to train separate models for each language. To address this shortcoming, we show that joint multilingual pre-training and fine-tuning allows sharing all but a small number of parameters between ten languages in the final model. The 10x reduction in model size compared to fine-tuning one model per language causes only a 3.2% relative error increase in aggregate. We further explore the idea of joint fine-tuning and show that it gives low-resource languages a way to benefit from the larger datasets of other languages. Finally, we demonstrate new state-of-the-art results for 11 languages, including English (95.8 F1) and Chinese (91.8 F1).

연구 동기 및 목표

• 비지도 사전 훈련이 다양한 언어와 사전 훈련 방법에서 다국어 구성 구문 분석에 미치는 영향을 조사하기 위해.
• 각 언어별로 별도의 대규모 모델을 훈련하는 데 드는 계산 비용을 줄이기 위해 파라미터 공유를 통한 공동 다국어 미세조정을 탐색하기 위해.
• 고자원 언어의 데이터를 활용하여 저자원 언어의 성능 향상을 위해 공동 훈련이 효과적인지 평가하기 위해.
• 정확도, 모델 효율성, 확장성 측면에서 단일 언어 대 다국어 사전 훈련 및 미세조정 전략을 비교하기 위해.
• 특히 저자원 언어에서 성능 향상이 이루어지는 조건, 즉 공동 훈련이 성능 향상에 기여하는 조건을 규명하기 위해.

제안 방법

• 자기주의와 스팬 기반 점수 평가에 기반한 신경망 구성 구문 분석기를 사용하며, 입력 표현은 BERT의 마지막 레이어에서 유도된다.
• BERT의 서브워드 토큰 표현에 대해 학습된 투영을 적용하여 단어 정렬 벡터를 얻고, 이를 두 층의 완전 연결 신경망(MLP) 스팬 분류기로 전달한다.
• 단일 공유 BERT 및 자기주의 인코더를 10개 언어 전반에 걸쳐 사용하는 공동 다국어 미세조정을 적용하며, 출력 레이블링을 위한 언어별로 특화된 MLP 분류기를 사용한다.
• 모델 크기를 10배 줄이기 위해 언어별 출력 레이어를 제외한 모든 파라미터를 공유함으로써 다국어 간 효율적인 훈련을 가능하게 한다.
• 공동 훈련 중에 트리뱅크 크기가 다른 언어 간 샘플링 비율을 균형 있게 유지하기 위해 감쇠 요소가 0.7인 지수 평활화를 적용한다.
• 공동 훈련에서는 학습률 5×10⁻⁵, 배치 크기 256을 사용하여 BERT 파라미터를 엔드 투 엔드로 미세조정하고, 단일 언어 훈련에서는 학습률 5×10⁻⁵, 배치 크기 32를 사용한다.

실험 결과

연구 질문

• RQ1 BERT, ELMo, fastText, 또는 비컨텍스트 임베딩을 사용한 사전 훈련이 다국어 구성 구문 분석 정확도에 어떤 영향을 미치는가?
• RQ2 독립된 단일 언어 모델 대비 공동 다국어 미세조정이 모델 크기를 얼마나 줄이고 성능 유지에 얼마나 기여하는가?
• RQ3 어떤 언어 조합이 공동 미세조정에서 가장 큰 이점을 얻는가? 그리고 공동 훈련에서 언어 간 호환성에 영향을 주는 요인은 무엇인가?
• RQ4 저자원 언어가 고자원 언어와 공동 훈련을 통해 더 높은 구문 분석 정확도를 달성할 수 있는가?
• RQ5 레이블이 부족한 상황에서 파라미터 공유를 넘어서 공통 훈련이 교차 언어 일반화를 이끌어내는가?

주요 결과

• BERT는 모든 11개 언어에서 ELMo와 fastText를 능가하며, 영어에서는 F1 95.8, 중국어에서는 F1 91.8을 기록하여 새로운 최고 성능을 달성했다.
• 공동 다국어 미세조정을 통해 각 언어별 별도 모델을 훈련하는 것 대비 모델 크기를 10배 줄였고, 집계 F1 점수의 상대 오차는 3.2% 상승에 그쳤다.
• 공동 모델은 10개 언어 평균 F1 91.12를 기록했으며, 중대한 파라미터 공유에도 불구하고 단일 언어 모델(88.32 F1)을 능가했다.
• 스웨덴어, 프랑스어, 폴란드어와 같은 저자원 언어는 특히 영어, 독일어, 한국어와 같은 고자원 언어와 조합된 공동 훈련에서 가장 큰 성과 향상을 보였다.
• 공동 훈련에서 언어 간 호환성은 언어의 언어학적 유사성과 강한 상관관계가 없지만, 트리뱅크 레이블링 관행과 데이터 크기에 의해 영향을 받는다.
• 쌍으로 미세조정한 실험 결과, 더 큰 트리뱅크(예: 영어, 독일어, 한국어)는 효과적인 보조 작업으로 기능했고, 더 작은 트리뱅크는 공동 훈련에서 가장 큰 이점을 얻었다.