[논문 리뷰] Beto, Bentz, Becas: The Surprising Cross-Lingual Effectiveness of BERT

Shijie Wu, Mark Dredze|arXiv (Cornell University)|2019. 04. 19.

Topic Modeling참고 문헌 35인용 수 59

한 줄 요약

논문은 다섯 가지 NLP 과제와 39개 언어에 걸쳐 다국어 BERT (mBERT)를 사용한 제로샷 크로스링구얼 전이 연구로, 명시적 크로스링구얼 신호 없이도 경쟁력 있거나 최첨단 결과를 보여주고, 층별 동작 및 부분어 Subword 공유를 분석한다.

ABSTRACT

Pretrained contextual representation models (Peters et al., 2018; Devlin et al., 2018) have pushed forward the state-of-the-art on many NLP tasks. A new release of BERT (Devlin, 2018) includes a model simultaneously pretrained on 104 languages with impressive performance for zero-shot cross-lingual transfer on a natural language inference task. This paper explores the broader cross-lingual potential of mBERT (multilingual) as a zero shot language transfer model on 5 NLP tasks covering a total of 39 languages from various language families: NLI, document classification, NER, POS tagging, and dependency parsing. We compare mBERT with the best-published methods for zero-shot cross-lingual transfer and find mBERT competitive on each task. Additionally, we investigate the most effective strategy for utilizing mBERT in this manner, determine to what extent mBERT generalizes away from language specific features, and measure factors that influence cross-lingual transfer.

연구 동기 및 목표

• mBERT가 다양한 언어에 걸쳐 제로샷 전이를 가능하게 하는 공통의 크로스링구얼 공간을 학습하는지 평가한다.
• 이전 제로샷 방법과 비교하기 위해 다섯 가지 NLP 과제에서 mBERT를 평가한다.
• 크로스링구얼 전이를 위한 효과적인 미세조정 및 특징 추출 전략을 식별한다.
• 레이어 전반에 걸쳐 언어 특유의 정보가 어떻게 보존되는지와 부분어 공유가 전이에 미치는 영향을 조사한다.

제안 방법

• 기본 대문자화 mBERT(104개 언어)를 사용하고 5개 과제에 대해 영어 데이터로 미세조정한다(MLDoc, XNLI, NER, POS tagging, dependency parsing).
• 작업별 출력 계층을 적용하고 Adam 최적화로 표준 미세조정(3–4 에폭, 학습률 ~3e-5)을 수행한다.
• 미세조정 중 하위 층 고정(n in {0,3,6,9})을 실험하고 모든 층의 특징 기반 얕은 결합(Feats)과 비교한다.
• 제로샷 설정에서 각 과제당 38개의 대상 언어에 대한 크로스링구얼 전이 성능을 측정한다; 구문분석은 UAS/LAS, NER은 F1, POS는 ACC, MLDoc 및 XNLI는 정확도(Accuracy)를 보고한다.
• 언어 식별 정확도를 층별로 분석하여 언어 특유의 정보 보존 여부를 평가한다.
• WordPiece 어휘를 사용하여 언어 간 부분어 겹침을 검토하고 전이 성능과의 관계를 분석한다.

실험 결과

연구 질문

• RQ1 mBERT가 명시적 크로스링구얼 감독 없이도 광범위한 과제에서 강력한 제로샷 크로스링구얼 전이를 가능하게 하는가?
• RQ2 하위 층 고정 vs 모든 매개변수 미세조정이 과제 전반의 크로스링구얼 전이 성능에 어떤 영향을 미치는가?
• RQ3 다른 층의 mBERT가 언어 특유의 정보를 보존하거나 언어 특성을 추상화하면서 크로스링구얼 전이를 가능하게 하는가?
• RQ4 언어 간 부분어 공유가 향상된 전이 성능과 상관관계가 있으며 전이를 위한 적합한 출처 언어를 나타낼 수 있는가?

주요 결과

• mBERT는 다섯 가지 과제 모두에서 경쟁력 있거나 최첨단 제로샷 크로스링구얼 성능을 달성하며, 종종 기존의 크로스링구얼 임베딩을 능가한다.
• 미세조정 중 하위 층을 고정하면 일반적으로 성능이 향상되며, 문서 분류와 NLI의 가장 큰 이점은 약 6개의 고정 층, 단어 수준 작업에는 3개를 사용할 때 나타난다.
• 언어 식별 테스트는 크로스링구얼 전이가 개선되더라도 모든 층에서 언어 특유의 정보가 여전히 탐지 가능하다는 것을 보여준다.
• 언어 간 부분어 겹침과 전이 성능 사이에 강한 양의 상관관계가 있으며, 특히 네 가지 과제에서 유형(level) 및 토큰 수준의 중복이 전이에 유의하게 관여한다( XNLI 제외 ).
• 의존 구문 분석에서 mBERT는 골드 POS 태그 없이도 평균 7.3 UAS 및 0.4 LAS로 강력한 크로스링구얼 베이스라인을 상회한다; 골드 POS 태그가 있을 경우 추가 이득이 있다(평균 1.6 UAS 및 4.7 LAS).
• 밀접하게 관련된 언어와 멀리 관련된 언어 간에 상당한 전이 차이가 관찰되며, 먼 언어 전이에 대한 개선 여지가 있음을 시사한다.