[논문 리뷰] Incorporating Discrete Translation Lexicons into Neural Machine Translation

Philip Arthur, Graham Neubig외 1명|arXiv (Cornell University)|2016. 06. 07.

Natural Language Processing Techniques참고 문헌 33인용 수 35

한 줄 요약

이 논문은 신경 기계 번역(NMT)에 이산 번역 어휘 사전을 통합하여 낮은 빈도의 내용어 번역을 향상시키는 방법을 제안한다. 주의 벡터를 사용해 관련된 어휘 확률을 선택하고, 편향 또는 선형 보간을 통해 그 확률을 통합한다. 이 방법은 2.0–2.3 BLEU 및 0.13–0.44 NIST 점수 향상을 달성하며, 수렴 속도가 빠르다.

ABSTRACT

Neural machine translation (NMT) often makes mistakes in translating low-frequency content words that are essential to understanding the meaning of the sentence. We propose a method to alleviate this problem by augmenting NMT systems with discrete translation lexicons that efficiently encode translations of these low-frequency words. We describe a method to calculate the lexicon probability of the next word in the translation candidate by using the attention vector of the NMT model to select which source word lexical probabilities the model should focus on. We test two methods to combine this probability with the standard NMT probability: (1) using it as a bias, and (2) linear interpolation. Experiments on two corpora show an improvement of 2.0-2.3 BLEU and 0.13-0.44 NIST score, and faster convergence time.

연구 동기 및 목표

• 문장 의미에 중요한 영향을 미치는 낮은 빈도의 내용어 번역 오류가 지속되는 NMT의 문제를 해결한다.
• 희귀어에 대해 명시적이고 신뢰할 수 있는 번역 확률을 제공하기 위해 이산 번역 어휘 사전을 활용한다.
• 종단 간 학습을 방해하지 않으면서도 신경 모델 예측과 보완이 되는 방식으로 어휘 사전 확률을 NMT에 통합한다.
• 저자원 및 낮은 빈도 어휘 상황에서 번역 품질과 학습 수렴 속도를 향상시킨다.
• 단어 정렬 및 외부 사전을 포함한 다양한 어휘 자료원에서 방법을 평가한다.

제안 방법

• NMT 모델의 주의 벡터를 사용해 어휘 번역 확률을 다음 목표어의 예측 확률로 변환한다.
• 해석 과정 중에 어떤 소스어의 어휘 확률에 집중할지를 주의 벡터를 통해 동적으로 선택한다.
• 어휘 사전 확률을 NMT 모델 출력과 두 가지 방법으로 통합한다: (1) 소프트맥스 레이어에 학습 가능한 편향으로, (2) NMT 확률 분포와 선형 보간을 통해.
• 훈련 데이터의 단어 정렬, 외부 사전, 또는 이들의 하이브리드를 사용해 어휘 사전을 구축한다.
• 표준 NMT 아키텍처와 주의 메커니즘을 사용한 영어-일본어 번역 작업에 이 방법을 적용한다.
• 개선 계수 λ는 개발 데이터에서 최적화하지만, 기본 실험에서는 모든 맥락에서 고정된다.

실험 결과

연구 질문

• RQ1 이산 번역 어휘 사전은 낮은 빈도의 내용어 번역에 대해 NMT 성능을 향상시킬 수 있는가?
• RQ2 주의 정보를 활용해 어휘 사전 확률을 신경 해석 과정에 효과적으로 통합할 수 있는가?
• RQ3 편향 또는 선형 보간을 통해 어휘 사전 확률을 통합할 경우 표준 NMT보다 더 높은 번역 품질을 달성할 수 있는가?
• RQ4 이 방법은 저자원 어휘에 대해 학습 수렴 속도와 일반화 능력을 향상시킬 수 있는가?
• RQ5 이 방법은 더 크고 복잡한 데이터셋으로 확장 가능한가?

주요 결과

• 이 방법은 두 개의 영어-일본어 번역 코퍼스에서 기준 NMT 모델 대비 2.0–2.3 BLEU 포인트 향상했다.
• 모델은 0.13–0.44 NIST 점수 향상을 보였으며, 이는 내용어 번역 품질 향상을 시사한다.
• 편향 기반 통합 방법이 선형 보간보다 우수했으며, 명시적 어휘 제약이 고정된 혼합보다 더 효과적임을 시사한다.
• 학습 수렴 시간이 감소하여, 어휘 사전의 신호와 더 나은 초기화 덕분에 최적화가 더 빠르게 진행됨을 나타낸다.
• 이 방법은 더 큰 데이터셋으로 효과적으로 확장되었으며, 2M-시퀀스 ASPEC 데이터셋에서 BLEU 점수를 20.82에서 22.66으로 향상시켰다.
• 정성적 분석을 통해 낮은 빈도의 내용어, 예를 들어 'Tunisia'와 같은 국명 번역이 향상되었음을 확인했다.