[논문 리뷰] Balancing Training for Multilingual Neural Machine Translation

Xinyi Wang, Yulia Tsvetkov외 1명|arXiv (Cornell University)|2020. 04. 14.

Natural Language Processing Techniques참고 문헌 37인용 수 12

한 줄 요약

이 논문은 다국어 신경 기계 번역을 위한 최적의 데이터 가중치를 자동으로 학습하는 메타학습 방법인 MultiDDS를 제안한다. 이는 모든 목표 언어에서의 평균 성능을 최대화하도록 언어 스코어러를 최적화함으로써 이루어진다. 히우리스틱 샘플링 전략과는 달리, MultiDDS는 미분 가능하고 안정적인 보상 신호를 사용하여 동적으로 학습 데이터를 균형 잡고, 일대다 및 다대일 번역 설정 모두에서 기준선을 뛰어넘으며, 다양성 있는 언어 그룹 간에 더 낮은 분산과 향상된 강인성을 보인다.

ABSTRACT

When training multilingual machine translation (MT) models that can translate to/from multiple languages, we are faced with imbalanced training sets: some languages have much more training data than others. Standard practice is to up-sample less resourced languages to increase representation, and the degree of up-sampling has a large effect on the overall performance. In this paper, we propose a method that instead automatically learns how to weight training data through a data scorer that is optimized to maximize performance on all test languages. Experiments on two sets of languages under both one-to-many and many-to-one MT settings show our method not only consistently outperforms heuristic baselines in terms of average performance, but also offers flexible control over the performance of which languages are optimized.

연구 동기 및 목표

• 다국어 학습 데이터의 불균형 문제를 해결하기 위해, 고자원 언어가 지배하고 저자원 언어 성능에 악영향을 미치는 문제를 해결한다.
• 수동으로 조정된 온도 파rameter에 의존하고 언어 유사성을 忽시하는 히우리스틱 데이터 샘플링 방법의 한계를 극복한다.
• 모델에 종속되지 않는, 자동으로 최적의 데이터 사용법을 학습하는, 유연한 미분 가능 방법을 개발한다.
• 사용자 정의 가능한 최적화 목표를 통해 여러 언어 간 성능 트레이드오프를 제어할 수 있도록 한다.
• 데이터 가중치에 사용되는 보상 신호를 안정화시켜 학습 안정성과 수렴성을 향상시킨다.

제안 방법

• 데이터 가중치를 언어 수준의 가중치로 최적화하는 메타학습 문제로 설정함으로써, Differentiable Data Selection (DDS)를 다국어 환경으로 확장한다.
• 언어 스코어러를 학습시켜 각 언어의 학습 예제에 가중치를 할당하며, 목표는 모든 언어의 평균 검증 손실을 최소화하는 것이다.
• 다국어 개발 세트에서의 평균 BLEU 점수를 기반으로 보상 신호를 계산함으로써, 모든 언어에서의 성능을 동시에 최적화할 수 있다.
• MultiDDS는 최적화 신호의 분산을 줄여 학습 안정성을 향상시키는 안정화된 보상 변형(MultiDDS-S)을 도입한다.
• 스코어러의 민감한 파arameter화를 사용하며, 다국어 학습 시 메모리 효율적이다.
• 이 방법은 모델에 종속되지 않으며, 어떤 다국어 모델 학습 설정에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 히우리스틱 샘플링에 의존하지 않고 자동으로 데이터 가중치 전략을 학습시켜 다국어 NMT 성능을 향상시킬 수 있는가?
• RQ2 자동으로 학습된 데이터 가중치의 성능는 온도 기반 샘플링과 같은 히우리스틱 방법과 비교해 어떻게 되는가?
• RQ3 이 방법은 학습을 안정화하고 언어 간 성능의 분산을 줄일 수 있는가?
• RQ4 이 방법은 특정 언어의 성능을 우선시하기 위해 얼마나 민감하게 조정될 수 있는가?
• RQ5 이 방법은 고유의 언어 유사성과 관련된 다양한 언어 그룹 간에도 일반화되는가?

주요 결과

• MultiDDS는 일대다 및 다대일 번역 설정 모두에서 모든 언어의 평균 BLEU 점수에서 히우리스틱 기준선을 뛰어넘었다.
• 다양한 언어 그룹에서 MultiDDS는 M2O 설정에서 평균 BLEU 점수 26.94를 기록했으며, O2M 설정에서는 18.24를 기록했고, 분산은 각각 0.02로 MultiDDS(0.04 및 0.05)보다 낮았다.
• 안정화된 변형인 MultiDDS-S는 표준 MultiDDS보다 보상 분산이 일관되게 낮고, 학습 전반에 걸쳐 더 안정된 언어 사용 패턴을 보였다.
• MultiDDS-S에서 학습된 언어 분포가 시간이 지남에 따라 더 적은 변동을 보이며, 학습 안정성이 향상됨을 시사했다.
• 이 방법은 관련 언어 그룹과 다각도 언어 그룹 모두에서 일관된 향상을 보이며, 언어 다양성에 대한 강인성을 입증했다.
• 이 프레임워크는 사용자가 재학습 없이도 특정 언어의 성능을 우선시할 수 있도록 다양한 최적화 목표를 유연하게 제공한다.