[논문 리뷰] Do Explicit Alignments Robustly Improve Multilingual Encoders?

Shijie Wu, Mark Dredze|arXiv (Cornell University)|2020. 10. 06.

Natural Language Processing Techniques참고 문헌 41인용 수 4

한 줄 요약

이 논문은 높은 품질의 평행 데이터 대신 노이즈가 많고 자원이 적은 비평행 문장 쌍(예: OPUS-100)을 사용하여 다국어 인코더의 성능을 향상시키기 위해 대비 학습 기반의 정렬 목표를 제안한다. 노이즈가 많은 데이터에서 이전의 정렬 방법보다 성능이 뛰어나지만, 여러 작업, 언어, 랜덤 시드를 통한 광범위한 평가 결과, 특히 XLM-RoBERTa-large와 같은 더 큰 모델을 사용할 경우 강력한 베이스라인에 비해 유의미한 향상이 없음을 확인하여, 강건한 평가 조건에서는 명시적 정렬 목표가 제한된 성과 향상을 가져온다는 것을 시사한다.

ABSTRACT

Multilingual BERT (mBERT), XLM-RoBERTa (XLMR) and other unsupervised multilingual encoders can effectively learn cross-lingual representation. Explicit alignment objectives based on bitexts like Europarl or MultiUN have been shown to further improve these representations. However, word-level alignments are often suboptimal and such bitexts are unavailable for many languages. In this paper, we propose a new contrastive alignment objective that can better utilize such signal, and examine whether these previous alignment methods can be adapted to noisier sources of aligned data: a randomly sampled 1 million pair subset of the OPUS collection. Additionally, rather than report results on a single dataset with a single model run, we report the mean and standard derivation of multiple runs with different seeds, on four datasets and tasks. Our more extensive analysis finds that, while our new objective outperforms previous work, overall these methods do not improve performance with a more robust evaluation framework. Furthermore, the gains from using a better underlying model eclipse any benefits from alignment training. These negative results dictate more care in evaluating these methods and suggest limitations in applying explicit alignment objectives.

연구 동기 및 목표

• 노이즈가 많고 자원이 적은 비평행 문장 쌍(예: OPUS-100)을 사용하여 훈련할 때, 명시적 정렬 목표가 다국어 표현 학습에 기여하는지 조사하는 것.
• 비정상적인 단어 정렬 신호를 활용할 수 있도록 개선된 비정상적 정렬 목표를 제안하는 것.
• 여러 랜덤 시드, 여러 언어, 여러 하류 작업을 포함한 더 철저한 평가 프레임워크에서 정렬 방법을 평가하는 것.
• 정렬 훈련에서 얻는 성능 향상이 정렬 목표 자체의 기여인지, 아니면 더 큰 모델 아키텍처의 개선에 의해 가려지는지 평가하는 것.

제안 방법

• 다국어 비평행 문장 쌍에서 정렬된 문장 쌍 간의 유사도를 최적화하는 대비 학습 목표를 제안하며, 부정 샘플링을 통해 정렬의 강건성을 향상시킨다.
• 높은 품질의 비평행 문장 쌍(예: Europarl)과 노이즈가 많고 자원이 적은 비평행 문장 쌍(OPUS-100) 모두에 이 대비 목표를 적용한다.
• 비지도 단어 정렬을 통해 약한 정렬 신호를 생성한 후, 정렬된 단어 쌍의 표현이 유사해지도록 유도하는 대비 손실을 적용한다.
• 두 가지 변형을 구현: '약한 정렬'(Weak Align)과 '강한 정렬'(Strong Align) — 부정 샘플 생성 방식과 대비 목표 최적화 방식에서 차이가 있다.
• 완전한 행렬 저장을 피하기 위해 정규 직교 선형 매핑을 학습하는 메모리 효율적인 경사 하강 방법을 구현한다.
• 여러 랜덤 시드에 대한 평균과 표준편차를 사용하여 네 가지 다양한 NLP 작업(XNLI, POS, 파싱, NER)과 여러 언어에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 OPUS-100과 같은 노이즈가 많고 자원이 적은 비평행 문장 쌍을 사용하여 훈련할 때, 대비 정렬 목표가 다국어 인코더 성능을 향상시키는가?
• RQ2 여러 랜덤 시드를 포함한 강력한 평가 프레임워크에서, 여러 언어와 작업 간에 명시적 정렬 목표가 일관되고 유의미한 성과 향상을 가져오는가?
• RQ3 정렬 훈련에서 얻는 성능 향상은 정렬 목표 자체의 기여 때문인지, 아니면 모델 규모의 개선에 의해 가려지는가?
• RQ4 노이즈가 많은 데이터에서 선형 매핑, L2, 대비 목표 등 다양한 정렬 목표 간의 강건성과 효율성은 어떻게 비교되는가?
• RQ5 여러 실행에 대한 표준편차를 사용하여 평가할 경우, 정렬 기반 방법의 성능은 단일 시드 평가 대비 떨어지거나 사라지는가?

주요 결과

• 제안된 대비 정렬 목표는 높은 품질의 비평행 문장 쌍과 노이즈가 많은 비평행 문장 쌍(예: OPUS-100) 모두에서 이전의 방법(Cao et al., 2020)보다 성능이 뛰어나다.
• 여러 랜덤 시드와 표준편차를 사용한 평가에서, 이전에 보고된 정렬 목표의 XNLI 성능 향상은 사라지며, 이는 강건한 평가 조건 하에서 재현성이 낮음을 시사한다.
• 개선된 대비 목표를 사용하더라도, mBERT 또는 XLM-RoBERTa-base를 사용할 경우 네 가지 다양한 작업과 여러 언어에서 유의미한 성능 향상이 관찰되지 않는다.
• XLM-RoBERTa-large는 항상 모든 정렬 훈련 모델보다 뛰어나며, 이는 모델 규모가 명시적 정렬의 이점보다 지배적임을 시사한다.
• 이 연구는 명시적 정렬 목표가 다국어 인코더의 성능을 강건하게 향상시키지 못하며, 특히 적절한 통계적 엄밀도와 더 큰 모델이 존재하는 조건에서는 그러한 효과가 제한됨을 결론짓는다.