[논문 리뷰] On Negative Interference in Multilingual Models: Findings and A Meta-Learning Treatment

Zirui Wang, Zachary C. Lipton외 1명|arXiv (Cornell University)|2020. 10. 06.

Topic Modeling참고 문헌 45인용 수 6

한 줄 요약

이 논문은 다국어 모델에서의 부정적 간섭에 대한 체계적인 분석을 제시하며, 언어별로 특화된 파rameter와 기울기 충돌로 인해 고자원 및 저자원 언어 모두에 영향을 미친다는 것을 입증한다. 저자들은 공유 레이어의 일반화를 향상시키기 위해 언어별 어댑터를 학습하는 메타학습 방법을 제안하여 언어 내 성능을 크게 향상시키고, 제로샷 다국어 전이 능력을 향상시킨다.

ABSTRACT

Modern multilingual models are trained on concatenated text from multiple languages in hopes of conferring benefits to each (positive transfer), with the most pronounced benefits accruing to low-resource languages. However, recent work has shown that this approach can degrade performance on high-resource languages, a phenomenon known as negative interference. In this paper, we present the first systematic study of negative interference. We show that, contrary to previous belief, negative interference also impacts low-resource languages. While parameters are maximally shared to learn language-universal structures, we demonstrate that language-specific parameters do exist in multilingual models and they are a potential cause of negative interference. Motivated by these observations, we also present a meta-learning algorithm that obtains better cross-lingual transferability and alleviates negative interference, by adding language-specific layers as meta-parameters and training them in a manner that explicitly improves shared layers' generalization on all languages. Overall, our results show that negative interference is more common than previously known, suggesting new directions for improving multilingual representations.

연구 동기 및 목표

• 다국어 모델에서의 부정적 간섭—즉, 성능 저하가 고자원 언어뿐 아니라 저자원 언어에게도 발생하는지 조사한다.
• 기울기 충돌과 언어별 파라미터 경쟁과 같은 부정적 간섭의 근본 원인을 규명한다.
• 공유 표현의 일반화를 명시적으로 향상시켜 간섭을 줄이는 메타학습 프레임워크를 개발한다.
• 개별 언어의 성능을 유지하거나 향상시키면서도 다국어 간 전이 능력을 향상시킨다.

제안 방법

• 다국어 환경에서의 성능 저하를 분리하고 비교하기 위해 단일 언어 및 双언어 모델을 훈련한다.
• 코퍼스 크기, 언어 유사도, 기울기 유사도, 파라미터 유사도에 대한 분석을 통해 간섭 유발 요인을 규명한다.
• 메타어댑터 도입: 메타학습을 통해 훈련된 언어별 어댑터 모듈로 공유 레이어의 일반화 능력을 향상시킨다.
• 공유 레이어가 모든 언어에 걸쳐 더 잘 일반화되도록 하기 위해, 언어별 어댑터 파라미터를 메타최적화 방식으로 업데이트한다.
• 다운스트림 작업에서 표준 어댑터, 공유 어댑터, 공동 미세조정 기반 모델과의 성능을 비교한다.
• 내용 전달성 평가(XNLI)와 단일 언어 NER 작업을 통해 언어 내 및 다국어 간 성능을 측정한다.

실험 결과

연구 질문

• RQ1 저자원 언어에서도 긍정적 전이의 기대와는 달리 부정적 간섭이 발생할 수 있는가?
• RQ2 기울기 충돌이나 언어별 파라미터와 같은 구조적 또는 최적화적 요인이 부정적 간섭에 기여하는가?
• RQ3 언어별 모듈을 명시적으로 모델링하면 공유 표현의 일반화 능력이 향상되는가?
• RQ4 언어별 어댑터에 대한 메타학습이 간섭을 완화하고 동시에 언어 내 및 제로샷 다국어 전이 성능을 향상시킬 수 있는가?

주요 결과

• 부정적 간섭은 고자원 언어뿐 아니라 저자원 언어에게도 영향을 미치며, 다국어 모델이 고자원 언어에만 악영향을 준다는 가정을 도전한다.
• 언어별 파라미터가 존재하고 모델 용량을 놓고 경쟁하며, 이로 인해 기울기 충돌이 발생해 성능 저하가 유발된다.
• 제안된 메타어댑터 방법은 XNLI에서 평균 정확도 67.9%를 달성하여 JointPair(67.1%)와 XLM(67.8%)를 앞서며 다국어 간 전이 능력 향상을 입증한다.
• 메타어댑터는 표준 어댑터보다 더 빠르고 안정적으로 수렴하며, 초기 훈련 단계에서 손실 감소 폭이 더 크다.
• 공유 어댑터는 언어 내 및 다국어 간 성능을 모두 향상시키지만, 메타어댑터에 비해 떨어지며, 언어 간 갈등을 더 잘 해결한다.
• 단일 언어 NER 작업에서 단일 언어 모델과의 성능 격차를 줄이면서 동시에 제로샷 전이 성능을 향상시켜 双중 이점을 입증한다.