[논문 리뷰] Robust Optimization for Multilingual Translation with Imbalanced Data

Xian Li, Hongyu Gong|arXiv (Cornell University)|2021. 04. 15.

Topic Modeling참고 문헌 74인용 수 6

한 줄 요약

이 논문은 다국어 신경 기계 번역을 위한 강력한 최적화 방법인 CATS(Curvature-Aware Task Scaling)를 제안한다. 이 방법은 메타목표를 통해 다양한 언어에서 유도하는 기울기를 적응적으로 재스케일링하여, 낮은 곡률과 균일하게 낮은 손실을 가진 영역으로 향하도록 훈련을 이끈다. CATS는 TED, WMT, OPUS-100과 같은 벤치마크에서 저자원 언어 성능을 0.8–2.2 BLEU 향상시키며 일관된 성능 향상을 보이며, 고자원 언어 성능을 떨어뜨리지 않으며, 과다 매개변수화와 큰 배치 크기에도 강인하다.

ABSTRACT

Multilingual models are parameter-efficient and especially effective in improving low-resource languages by leveraging crosslingual transfer. Despite recent advance in massive multilingual translation with ever-growing model and data, how to effectively train multilingual models has not been well understood. In this paper, we show that a common situation in multilingual training, data imbalance among languages, poses optimization tension between high resource and low resource languages where the found multilingual solution is often sub-optimal for low resources. We show that common training method which upsamples low resources can not robustly optimize population loss with risks of either underfitting high resource languages or overfitting low resource ones. Drawing on recent findings on the geometry of loss landscape and its effect on generalization, we propose a principled optimization algorithm, Curvature Aware Task Scaling (CATS), which adaptively rescales gradients from different tasks with a meta objective of guiding multilingual training to low-curvature neighborhoods with uniformly low loss for all languages. We ran experiments on common benchmarks (TED, WMT and OPUS-100) with varying degrees of data imbalance. CATS effectively improved multilingual optimization and as a result demonstrated consistent gains on low resources ($+0.8$ to $+2.2$ BLEU) without hurting high resources. In addition, CATS is robust to overparameterization and large batch size training, making it a promising training method for massive multilingual models that truly improve low resource languages.

연구 동기 및 목표

• 고자원 언어와 저자원 언어 간의 데이터 불균형으로 인해 다국어 번역에서 발생하는 최적화 과제를 탐구하는 것.
• 국소적 손실 표면 곡률이 최적화 긴장을 유도하며, 이로 인해 고자원 언어가 훈련를 지배하고 저자원 언어 성능이 악화된다는 것을 규명하는 것.
• 이 긴장을 완화하고 모든 언어에 걸쳐 일반화 성능을 향상시키는 원칙적이고 적응적인 훈련 방법을 개발하는 것.
• 과다 매개변수화, 큰 배치 크기, 극도로 불균형한 데이터 분포와 같은 현실적인 조건에서 이 방법의 강인성을 평가하는 것.
• 고자원 언어 성능을 희생시키지 않고 저자원 언어 번역 성능을 향상시켜 NLP 분야에서 공정한 진전을 이끌어내는 것.

제안 방법

• CATS는 모든 언어에서 균일하게 낮은 손실을 가지는 낮은 곡률 영역으로 최적화를 이끄는 메타목표를 도입한다.
• 국소 곡률을 기반으로 하여 다양한 언어에서 유도하는 기울기를 곡률 인식 가중치 메커니즘을 사용해 적응적으로 재스케일링한다.
• 훈련 중에 동적으로 기울기 스케일링을 조정하여 고자원 언어와 저자원 언어 간의 간섭을 줄인다.
• 개념적으로 단순하고 효율적이며, 수백 개의 언어를 포함한 대규모 다국어 훈련에 적합하도록 설계되어 있다.
• 기존의 고정된 샘플링 비율이나 수동적 데이터 증강에 의존하지 않으며, 전통적인 언어 업샘플링 방법과는 달리 이를 적용한다.
• 표준 훈련 파ip라인과 호환되며, Transformers와 같은 기존 모델과 원활하게 통합된다.

실험 결과

연구 질문

• RQ1 다국어 훈련에서의 데이터 불균형은 고자원 언어와 저자원 언어 간 최적화 긴장을 어떻게 유도하는가?
• RQ2 국소 손실 표면 곡률은 다국어 번역에서 일반화 및 모델 성능에 어떤 영향을 미치는가?
• RQ3 곡률 기반 적응적 기울기 재스케일링이 고자원 언어 성능을 떨어뜨리지 않으면서 모든 언어에 걸쳐 일반화 성능을 향상시킬 수 있는가?
• RQ4 현대 다국어 시스템에서 흔한 과다 매개변수화 및 큰 배치 크기 훈련 조건에서 CATS는 어떻게 성능을 발휘하는가?
• RQ5 다양한 데이터 불균형 상황에서 CATS는 표준 데이터 업샘플링 및 기타 균형 기법보다 뛰어난 성능을 보이는가?

주요 결과

• CATS는 TED(8개 언어), WMT(10개 언어), OPUS-100(100개 언어)에서 저자원 언어 성능을 일관되게 +0.8에서 +2.2 BLEU 향상시켰다.
• 고자원 언어 성능에 어떠한 손실 없이 저자원 언어 성능을 향상시켜 균형 잡힌 일반화 성능을 입증했다.
• 특히 데이터 불균형이 심하고 큰 배치 크기 조건에서 표준 업샘플링 및 기본 훈련 방식보다 CATS가 뛰어난 성능을 보였다.
• 과다 매개변수화에 대해서도 강인성을 보였으며, 표준 훈련이 성능 저하를 보이기 시작하는 과다 매개변수화 영역에서도 성능 향상을 보였다.
• 제거 실험에서 CATS는 레이어 정규화 제거 외에도 추가로 +0.5 BLEU의 성능 향상을 제공함을 확인했다.
• 큰 배치 크기 훈련 조건에서 표준 방법이 실패하는 상황에서도 CATS는 저자원 언어의 과적합을 효과적으로 완화했다.