[논문 리뷰] Decoding-History-Based Adaptive Control of Attention for Neural Machine Translation

Junyang Lin, Shuming Ma외 2명|arXiv (Cornell University)|2018. 02. 06.

Natural Language Processing Techniques참고 문헌 9인용 수 15

한 줄 요약

이 논문은 복잡한 번역 반복 문제를 줄이고 번역 정확도를 향상시키기 위해 복잡한 번역 이력을 추적하고 동적으로 주의를 제어하는 메모리 벡터를 사용하는 Decoding-History-Based Adaptive Control of Attention (ACA)를 제안한다. 실험 결과, 강력한 기준 모델 대비 중국어-영어 번역에서 3.61 BLEU, 영어-베트남어 번역에서 1.17 BLEU의 유의미한 향상이 나타났다.

ABSTRACT

Attention-based sequence-to-sequence model has proved successful in Neural Machine Translation (NMT). However, the attention without consideration of decoding history, which includes the past information in the decoder and the attention mechanism, often causes much repetition. To address this problem, we propose the decoding-history-based Adaptive Control of Attention (ACA) for the NMT model. ACA learns to control the attention by keeping track of the decoding history and the current information with a memory vector, so that the model can take the translated contents and the current information into consideration. Experiments on Chinese-English translation and the English-Vietnamese translation have demonstrated that our model significantly outperforms the strong baselines. The analysis shows that our model is capable of generating translation with less repetition and higher accuracy. The code will be available at https://github.com/lancopku

연구 동기 및 목표

• 신경 기계 번역(NMT) 모델의 주의 메커니즘이 과거에 생성된 내용을 인식하지 못해 반복 번역이 발생하는 문제를 해결하기 위해.
• 특히 과거 디코더 상태와 주의 정렬 정보를 주의 제어에 통합하여 번역 품질을 향상시키기 위해.
• 이전에 생성된 번역에 더 적응적인 주의 메커니즘을 개발하여 유창성과 정확도를 향상시키기 위해.
• 현재 입력과 복잡한 번역 이력 간의 상호작용을 모델링하면 더 일관되고 반복적이지 않은 번역이 가능하다는 것을 입증하기 위해.

제안 방법

• 디코더의 은닉 상태와 이전 주의 벡터로부터 업데이트되는 메모리 벡터를 도입하여 복잡한 번역 이력을 인코딩한다.
• 메모리 벡터를 사용해 현재 주의 메커니즘을 조절함으로써, 소스 컨텍스트 선택 시 과거 번역을 고려할 수 있도록 한다.
• 질의 벡터에 메모리 벡터를 통합하여 주의 에너지 계산을 수정함으로써 주의 가중치의 동적 제어를 가능하게 한다.
• 각 디코딩 단계에서 메모리 벡터를 업데이트하기 위해 게이트 메커니즘을 사용하여 새로운 정보를 통합하면서도 이전의 역사적 맥락을 유지한다.
• 양방향 LSTM 인코더와 단방향 LSTM 디코더를 사용하는 주의 기반 순서-순서 모델 내부에 ACA 메커니즘을 통합한다.
• 아키텍처의 대대적인 개선 없이도 ACA를 주의 계산에 원활하게 통합하여 표준 교차 엔트로피 손실로 모델을 종합적으로 훈련시킨다.

실험 결과

연구 질문

• RQ1 복잡한 번역 이력을 모델링하면 신경 기계 번역(NMT)의 주의 메커니즘 성능을 향상시킬 수 있는가?
• RQ2 과거 디코더 상태와 주의 정렬 정보를 통합하면 번역 반복 현상을 줄일 수 있는가?
• RQ3 현재 입력과 과거 출력을 모두 고려하는 적응형 주의 메커니즘은 번역의 유창성과 정확도를 향상시킬 수 있는가?
• RQ4 기본 주의 메커니즘과 비교했을 때, 제안된 ACA 메커니즘은 장문 번역에서 어떻게 성능을 발휘하는가?

주요 결과

• ACA 모델은 중국어-영어 번역 작업에서 가장 강력한 기준 모델 대비 3.61 BLEU 포인트 향상했다.
• 영어-베트남어 번역 작업에서는 최고의 기준 모델 대비 1.17 BLEU 포인트 향상했다.
• 모델은 반복적인 어휘 조합, 예를 들어 NIST 2003 예제에서 다수의 'the Russian capital of Moscow' 표현을 크게 줄였다.
• 번역 예시에서는 복잡한 구조, 예를 들어 이름이나 부사어 구문을 정확하게 재배열하여 더 정확하고 일관된 출력을 생성한다.
• 모델은 다양한 문장 길이에 걸쳐 일관된 성능 향상을 유지하며, 특히 긴 문장에서 기준 모델보다 뛰어난 성능을 보였다.
• 제거 실험 결과, 메모리 벡터와 적응형 제어 메커니즘이 성능 향상의 핵심 요소임을 확인하였으며, 제거 시 BLEU 점수는 2점 이상 감소했다.