[논문 리뷰] Norm-Based Curriculum Learning for Neural Machine Translation

Xuebo Liu, Houtim Lai외 2명|arXiv (Cornell University)|2020. 06. 03.

Natural Language Processing Techniques참고 문헌 37인용 수 8

한 줄 요약

이 논문은 신경 기계 번역(NMT)를 위한 범위 기반 커리큘럼 학습 방법을 제안하며, 단어 임베딩 노름을 사용해 문장의 난이도, 모델 능력 수준, 문장 가중치를 자동으로 결정한다. 노름을 언어학적 난이도와 모델 기반 난이도의 대체 척도로 활용함으로써, 아키텍처 변경 없이도 완전히 자동화된 커리큘럼 학습이 가능해지며, WMT’14 En-De 및 WMT’17 Zh-En 벤치마크에서 각각 +1.17/+1.56 BLEU 향상과 2.22배/3.33배의 학습 속도 향상을 달성한다. 추가 파rameter 없이도 성능 향상을 이룬다.

ABSTRACT

A neural machine translation (NMT) system is expensive to train, especially with high-resource settings. As the NMT architectures become deeper and wider, this issue gets worse and worse. In this paper, we aim to improve the efficiency of training an NMT by introducing a novel norm-based curriculum learning method. We use the norm (aka length or module) of a word embedding as a measure of 1) the difficulty of the sentence, 2) the competence of the model, and 3) the weight of the sentence. The norm-based sentence difficulty takes the advantages of both linguistically motivated and model-based sentence difficulties. It is easy to determine and contains learning-dependent features. The norm-based model competence makes NMT learn the curriculum in a fully automated way, while the norm-based sentence weight further enhances the learning of the vector representation of the NMT. Experimental results for the WMT'14 English-German and WMT'17 Chinese-English translation tasks demonstrate that the proposed method outperforms strong baselines in terms of BLEU score (+1.17/+1.56) and training speedup (2.22x/3.33x).

연구 동기 및 목표

• 고자원 및 깊은 아키텍처 환경에서 NMT 시스템의 학습 효율성과 성능을 향상시키기 위해.
• NMT 학습에서 비용이 많이 들고 수작업이 필요한 커리큘럼 설계 문제를 해결하기 위해, 난이도 평가 및 커리큘럼 스케줄링을 자동화하기 위해.
• 일반적인 문장 난이도에 치우친 표현 학습의 편향을 줄이기 위해, 문장 난이도에 따라 가중치를 부여하는 범위 기반 문장 가중치를 도입하기 위해.
• 모델 능력 수준에 따라 적응 가능한, 완전히 자동화되고 파rameter가 없는 커리큘럼 학습 프레임워크를 개발하기 위해.

제안 방법

• 문장 난이도의 대체 척도로 단어 임베딩의 L2 노름을 사용하며, 어휘 빈도 등 언어학적 단순성과 모델이 학습한 특징을 통합한다.
• 은닉 상태 표현의 노름을 기반으로 모델 능력 수준을 정의함으로써, 모델의 성능 향상에 따라 자동으로 커리큘럼이 진행되도록 한다.
• 손실 함수에 문장 가중치를 도입하며, 이는 문장 노름의 역수 비례로 설정하여 빈도가 높거나 노름이 낮은 문장에 대한 편향을 줄인다.
• 미니배치 샘플링 동안 범위 기반 커리큘럼을 적용하여, 학습 전반에 걸쳐 낮은 노름(쉬운 문장)에서 높은 노름(어려운 문장)으로 순서를 재정렬한다.
• 노름을 계산하기 위해 사전에 훈련된 단순한 단어 임베딩 모델을 사용함으로써, 저비용의 계산과 높은 표현력을 확보한다.
• 모델 아키텍처를 변경하거나 추가 파rameter를 추가하지 않고도 표준 NMT 학습에 범위 기반 커리큘럼을 통합한다.

실험 결과

연구 질문

• RQ1 단어 임베딩 노름이 언어학적 특징과 모델 기반 특징을 통합한 효과적인 자동 난이도 측정 척도로 기능할 수 있는가?
• RQ2 모델 능력 수준을 노름 기반 지표로 추정하여 NMT 학습에서 완전히 자동화된 커리큘럼 진행을 가능하게 할 수 있는가?
• RQ3 노름 기반 문장 가중치를 통합함으로써 표현 학습과 NMT 모델의 일반화 능력은 어떻게 향상되는가?
• RQ4 제안된 방법이 표준 벤치마크에서 번역 품질과 학습 효율성 측면에서 강력한 베이스라인을 초월하는가?
• RQ5 범위 기반 커리큘럼은 아키텍처 수정 없이 다양한 NMT 아키텍처와 언어 쌍에 일반적으로 적용 가능한가?

주요 결과

• 제안된 방법은 강력한 베이스라인 대비 WMT’14 영어–독어 번역 작업에서 +1.17 BLEU 포인트 향상을 달성한다.
• WMT’17 중국어–영어 번역 작업에서는 +1.56 BLEU 포인트 향상을 기록하며, 다양한 언어 쌍 간의 뛰어난 일반화 능력을 입증한다.
• 학습 시간은 WMT’14 En-De에서 2.22배, WMT’17 Zh-En에서 3.33배 감소하여 뚜렷한 속도 향상을 보인다.
• 범위 기반 문장 가중치 메커니즘이 복잡한 문장을 번역하는 데 모델의 능력을 향상시키며, 사례 연구에서 기존 모델이 절단문을 생략하는 데 반해 제안된 모델은 이를 완전히 번역함을 보여준다.
• NMT 아키텍처를 수정하거나 추가 파rameter를 도입하지 않아도 우수한 성능을 달성하여 실세계 적용에 실용적이다.
• 제거 실험을 통해 능력 기반 커리큘럼과 노름 기반 문장 가중치를 결합함으로써 간단하고 중간 난이도의 문장을 균형 있게 학습할 수 있음을 확인했다.