[논문 리뷰] Neural Machine Translation with Key-Value Memory-Augmented Attention

Fandong Meng, Zhaopeng Tu외 5명|arXiv (Cornell University)|2018. 06. 29.

Natural Language Processing Techniques참고 문헌 21인용 수 9

한 줄 요약

이 논문은 신경 기계 번역(NMT)을 위한 키-값 메모리 보강 주의 메커니즘인 KVMemAtt를 제안한다. 이 메커니즘은 주의 이력을 추적하기 위해 동적으로 업데이트되는 키 메모리와 소스 표현을 저장하기 위해 고정된 값 메모리를 유지한다. 두 메모리 간의 반복적이고 다중 라운드의 상호작용을 통해 모델은 번역의 적절성을 향상시키고 단어 반복과 생략을 줄이며, 중국어-영어 및 독일어-영어 번역 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Although attention-based Neural Machine Translation (NMT) has achieved remarkable progress in recent years, it still suffers from issues of repeating and dropping translations. To alleviate these issues, we propose a novel key-value memory-augmented attention model for NMT, called KVMEMATT. Specifically, we maintain a timely updated keymemory to keep track of attention history and a fixed value-memory to store the representation of source sentence throughout the whole translation process. Via nontrivial transformations and iterative interactions between the two memories, the decoder focuses on more appropriate source word(s) for predicting the next target word at each decoding step, therefore can improve the adequacy of translations. Experimental results on Chinese=>English and WMT17 German<=>English translation tasks demonstrate the superiority of the proposed model.

연구 동기 및 목표

• 주의 기반 NMT 모델에서 지속적인 번역 반복 및 생략 문제를 해결한다.
• 주의 이력을 효과적으로 추적하지 못하는 전통적 주의 메커니즘의 한계를 극복한다.
• 주의 이력 추적과 소스 표현 저장 기능을 분리하여 학습을 용이하게 하고 성능을 향상시킨다.
• 다양한 NMT 모델에 적용 가능한 일반적이고 아키텍처에 종속되지 않는 메모리 보강 주의 프레임워크를 설계한다.
• 다양한 언어 쌍과 벤치마크 작업에서 이 방법의 효과성과 일반화 능력을 입증한다.

제안 방법

• 디코더의 은닉 상태 업데이트 체인과 동기화되어 주의 기반 쓰기 연산(예: 잊기 및 추가)을 통해 동적으로 업데이트되는 키 메모리를 도입한다.
• 디코딩 전반에 걸쳐 전체 소스 문장의 인코딩 표현을 저장하는 고정된 값 메모리를 유지한다.
• 레이어 간에 다중 라운드 메모리 연산을 수행하여 디코더가 중간 주의 결과를 재참조하고 맥락 선택을 정교화할 수 있도록 한다.
• 비트리비어스 변환을 통해 각 레이어 내부 및 레이어 간에 키 메모리와 값 메모리 간의 복잡한 상호작용을 가능하게 한다.
• 추가 애너테이션을 필요로 하지 않는 약한 지도 학습 기반의 주의 중심 목적함수를 적용하여 주의 품질을 추가로 향상시킨다.
• 기존 모델과의 호환성을 유지하면서 표준 RNN 기반 NMT 아키텍처에 KVMemAtt 모듈을 통합한다.

실험 결과

연구 질문

• RQ1 주의 이력 추적과 소스 표현 저장 기능을 분리하면 NMT에서 번역의 적절성이 향상되는가?
• RQ2 키 메모리와 값 메모리 간의 반복적이고 다중 라운드의 메모리 액세스가 더 나은 맥락 선택과 단어 반복 감소에 기여하는가?
• RQ3 낮은 자원과 높은 자원 환경에서 KVMemAtt 모델은 표준 주의 모델 및 NTM 보강 주의 모델보다 성능이 뛰어나게 되는가?
• RQ4 제안된 키-값 메모리 메커니즘은 중국어-영어 및 독일어-영어와 같은 다양한 언어 쌍에서 일반화 가능한가?
• RQ5 약한 지도 학습 기반의 주의 중심 목적함수는 주의 품질과 번역 성능 향상에 어느 정도 기여하는가?

주요 결과

• 중국어-영어 번역 작업에서 KVMemAtt는 RNNSearch 기준선 대비 소스 단어의 부족 번역 비율을 13.1%에서 9.7%로 감소시키고, 과잉 번역 비율을 2.7%에서 1.3%로 줄였다.
• 단일 레이어 KVMemAtt 모델은 번역 품질과 주의 성능 모두에서 표준 주의 모델과 NTM 보강 주의 모델을 뛰어넘었다.
• 다중 레이어 KVMemAtt 변종은 모든 평가 지표에서 일관되게 성능 향상을 보였다.
• WMT17 독일어-영어 번역 작업에서 KVMemAtt는 De→En 및 En→De 양 방향 모두에서 표준 주의 모델과 메모리 보강 주의 모델 기준선보다 높은 BLEU 점수를 기록했다.
• 모델는 다양한 언어 쌍에서 강력한 일반화 능력을 보였으며, 합성 데이터 없이도 훈련되었음에도 불구하고 적절성과 주의 정확도에서 강력한 기준선을 초월했다.
• 제거 실험 결과, 키-값 분리와 다중 라운드 메모리 액세스가 모델 성공의 핵심 요소임을 확인하였으며, 이 중 하나를 제거하면 성능이 크게 떨어졌다.