[논문 리뷰] Context-Aware Learning for Neural Machine Translation

Sébastien Jean, Kyunghyun Cho|arXiv (Cornell University)|2019. 03. 12.

Natural Language Processing Techniques참고 문헌 25인용 수 16

한 줄 요약

이 논문은 문서 수준 번역에서 앞선 문장과 같은 추가적 맥락을 활용하도록 신경 기계 번역 모델이 명시적으로 학습하도록 유도하기 위해 다중 수준 쌍별 순위 손실을 사용하는 맥락 인식 학습 알고리즘을 제안한다. 변형된 Transformer 기반 시스템에서 평가된 결과, 이 방법은 맥락 민감도를 크게 향상시키고 측정 가능한 BLEU 향상을 이끌어내어 맥락을 고려하는 데 학습하는 것이 아키텍처 설계만큼 중요하다는 것을 입증한다.

ABSTRACT

Interest in larger-context neural machine translation, including document-level and multi-modal translation, has been growing. Multiple works have proposed new network architectures or evaluation schemes, but potentially helpful context is still sometimes ignored by larger-context translation models. In this paper, we propose a novel learning algorithm that explicitly encourages a neural translation model to take into account additional context using a multilevel pair-wise ranking loss. We evaluate the proposed learning algorithm with a transformer-based larger-context translation system on document-level translation. By comparing performance using actual and random contexts, we show that a model trained with the proposed algorithm is more sensitive to the additional context.

연구 동기 및 목표

• 신경 기계 번역 모델이 더 큰 맥락(예: 문서 내 이전 문장 또는 이미지)을 효과적으로 활용하지 못하는 한계를 해결하기 위해.
• 아키텍처 설계에 영향을 주지 않고도 모델이 추가 맥락을 활용하도록 명시적으로 유도하는 학습 알고리즘을 개발하기 위해.
• 맥락이 노이즈가 있거나 관련성이 없더라도 모델이 정확한 맥락에 더 민감하도록 하여 번역 품질을 향상시키기 위해.
• 수정된 Transformer 아키텍처를 사용하여 문서 수준 번역에서 제안된 방법의 효과성을 평가하기 위해.

제안 방법

• 올바른 맥락과 잘못되거나 무작위로 선택된 맥락을 가진 번역에 대해 더 높은 로그 확률을 부여하는 다중 수준 쌍별 순위 손실을 도입한다.
• 다양한 군집도에서 맥락의 유용성이 달라질 수 있음을 고려하여, 토큰 수준, 문장 수준, 배치 수준의 세 가지 수준에서 정규화 항을 적용한다.
• 현재 문장과 이전 문장을 별도로 인코딩하고, 그 표현을 융합한 후 디코딩하는 방식으로 수정된 Transformer 모델을 사용한다.
• 모델이 올바른 맥락 쌍과 잘못된 맥락 쌍을 구별하도록 학습하기 위해 간격 기반 순위 손실을 사용하는 대비 학습 목표를 적용한다.
• 표준 최대 우도 손실과 제안된 정규화 항을 결합하여 모델을 훈련하며, 초모수는 검증 성능에 따라 튜닝한다.
• 실제 맥락과 무작위로 섞인 맥락을 사용했을 때의 번역 품질을 비교하여 모델의 맥락 민감도를 평가하며, 맥락 인식 능력의 지표로 BLEU 차이를 측정한다.

실험 결과

연구 질문

• RQ1 네트워크 아키텍처를 수정하지 않고도 신경 기계 번역 모델이 추가 맥락에 더 민감하도록 만들 수 있는 학습 알고리즘을 설계할 수 있는가?
• RQ2 다중 수준 쌍별 순위 손실이 문서 수준 번역에서 모델의 정확한 맥락 활용을 효과적으로 향상시키는가?
• RQ3 기본 최대 우도 학습에 비해 제안된 방법이 번역 품질을 어느 정도 향상시키는가?
• RQ4 표준 학습과 비교했을 때 제안된 손실로 훈련된 모델의 맥락 민감도는 어떻게 변화하는가?

주요 결과

• 제안된 정규화 항을 사용해 훈련된 모델는 베이스라인 대비 BLEU 점수에서 뚜렷한 향상을 보이며 전반적인 번역 품질 향상을 시사한다.
• 표준 최대 우도 손실로 훈련된 모델는 잘못된 맥락을 제공받았을 때 BLEU 점수의 감소 폭이 미미함(ΔBLEU = 0.40)으로 인해 이전 문장을 활용하지 못함을 입증한다.
• 제안된 방법은 맥락에 의존하는 문장에서 올바른 맥락 쌍과 잘못된 맥락 쌍 간의 누적 BLEU 점수 격차가 크게 벌어지도록 모델의 맥락 민감도를 향상시킨다.
• 제안된 손실로 훈련된 모델는 올바른 맥락 대비 무작위 맥락을 비교했을 때 ΔBLEU^test(θ)가 0.40 이상으로 양의 값을 기록하여 더 높은 맥락 인식 능력을 확인한다.
• 다중 수준 손실 설계 덕분에 다양한 군집도에서 효과적이며, 토큰, 문장, 배치 수준에서 모두 맥락 활용도를 향상시킨다.