[논문 리뷰] Effective Approaches to Attention-based Neural Machine Translation

Minh-Thang Luong, Hieu Pham외 1명|arXiv (Cornell University)|2015. 08. 17.

Natural Language Processing Techniques참고 문헌 12인용 수 751

한 줄 요약

이 논문은 신경 기계 번역을 위한 두 가지 효과적인 어텐션 메커니즘을 제안한다: 모든 소스 단어에 주의를 기울이는 글로벌 어텐션과, 한 번에 부분 집합에만 집중하는 로컬 어텐션이다. 로컬 어텐션 모델은 어텐션을 사용하지 않는 시스템보다 5.0 BLEU 포인트 향상되었으며, WMT’15 영어-독일어 번역 작업에서 25.9 BLEU의 새로운 최고 성능 기록을 수립했으며, n-그램 재정렬 기반 시스템을 1.0 BLEU 이상 앞서며 승리한다.

ABSTRACT

An attentional mechanism has lately been used to improve neural machine translation (NMT) by selectively focusing on parts of the source sentence during translation. However, there has been little work exploring useful architectures for attention-based NMT. This paper examines two simple and effective classes of attentional mechanism: a global approach which always attends to all source words and a local one that only looks at a subset of source words at a time. We demonstrate the effectiveness of both approaches over the WMT translation tasks between English and German in both directions. With local attention, we achieve a significant gain of 5.0 BLEU points over non-attentional systems which already incorporate known techniques such as dropout. Our ensemble model using different attention architectures has established a new state-of-the-art result in the WMT'15 English to German translation task with 25.9 BLEU points, an improvement of 1.0 BLEU points over the existing best system backed by NMT and an n-gram reranker.

연구 동기 및 목표

• 기존 접근 방식을 넘어서 어텐션 기반 신경 기계 번역(NMT)을 위한 효과적인 아키텍처 설계를 탐색하기 위해.
• 대규모 WMT 벤치마크 작업에서 글로벌 및 로컬 어텐션 메커니즘의 성능을 평가하여 번역 품질 향상을 분석하기 위해.
• 특히 장문의 문장, 명사어, 복잡한 문법적 구조를 다룰 때의 어휘 일치 품질과 번역 행동을 분석하기 위해.
• 어 attention 메커니즘을 사용한 앙상블 모델을 통해 영어-독일어 번역에서 새로운 최고 성능 기록을 수립하기 위해.
• 다양한 일치 함수의 성능을 비교하고, 어텐션 아키텍처 전반에서 그 효과성을 규명하기 위해.

제안 방법

• 모든 소스 단어에 주의를 기울이는 글로벌 어텐션 메커니즘을 제안하며, 어텐션 스코어를 기반으로 한 소프트 어텐션 메커니즘을 사용해 컨텍스트 벡터를 계산한다.
• 집중 위치를 예측하고, 그 주변에 가우시안 윈도우를 적용하여 소스 단어의 작은 동적 부분집합에만 주의를 기울이는 로컬 어텐션 메커니즘을 도입한다.
• 비가역성이 없는 하드 어텐션을 피하기 위해 백프로파게이션을 통한 학습이 가능한 기울기 기반 소프트 어텐션 메커니즘을 사용한다.
• 에코더와 디코더 양쪽에 LSTM 또는 GRU 유닛을 사용하는 시퀀스-투-시퀀스 RNN 아키텍처를 사용하며, 어텐션은 디코더의 은닉 상태 계산에 통합된다.
• 컨텍스트 벡터를 에코더 은닉 상태의 가중 평균으로 계산하는 소프트 어텐션 메커니즘을 사용하며, 가중치는 디코더와 에코더 상태 간의 호환성 함수에서 유도된다.
• 다양한 어텐션 아키텍처(글로벌, 로컬-m, 로컬-p)의 예측을 조합하여 앙상블 모델링을 적용함으로써 정확도와 내성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 글로벌 어텐션과 로컬 어텐션 메커니즘이 영어-독일어 및 독일어-영어 번역 작업에서 성능 면에서 어떻게 비교되는가?
• RQ2 로컬 어텐션은 계산 효율성을 유지하면서 글로벌 어텐션보다 더 높은 번역 품질을 달성할 수 있는가?
• RQ3 어텐션 메커니즘이 명사어, 장문의 문장, 복잡한 문법적 구조 번역에 얼마나 기여하는가?
• RQ4 다양한 일치 함수(예: 덧셈형, 내적곱)가 어텐션 기반 NMT 모델의 성능에 어떤 영향을 미치는가?
• RQ5 어텐션 기반 NMT 시스템에서 일치 오차율(AER)과 BLEU 점수 사이에 상관관계가 존재하는가?

주요 결과

• 로컬 어텐션 메커니즘은 이미 드롭아웃 및 기타 정규화 기법을 포함한 어텐션을 사용하지 않는 NMT 시스템보다 5.0 BLEU 포인트 높은 성능 향상을 기록했다.
• 글로벌 및 로컬 어텐션 메커니즘을 조합한 앙상블 모델은 WMT’15 영어-독일어 번역 작업에서 25.9 BLEU의 새로운 최고 성능 기록을 수립했으며, 이는 이전 최고 성능 시스템을 1.0 BLEU 이상 앞서며 승리했다.
• 로컬 어텐션 모델은 글로벌 모델보다 낮은 일치 오차율(AER)을 기록했으며, 로컬-m의 AER는 0.34, 로컬-p는 0.36로, 버클리 어라이너(AER = 0.32)의 성능에 가까워졌다.
• 어텐션 기반 모델은 '미란다 커', '로저 다우'와 같은 명사어 번역과 이중 부정('not incompatible')과 같은 복잡한 문법적 구성 번역에서 어텐션을 사용하지 않는 모델보다 뚜렷한 성능 향상을 보였다.
• 장문의 문장 번역에서 어텐션 메커니즘이 향상된 성능을 보였으며, 샘플 번역에서 복잡한 다중절 문장에 대한 처리 능력이 뛰어나다는 게 확인되었다.
• 일치 오차율(AER)과 BLEU 점수 사이에 강한 상관관계가 없음을 확인했으며, 앙상블 모델은 양호한 AER를 기록했지만 최고의 BLEU 점수는 달성하지 못했다. 이는 AER가 번역 품질의 신뢰할 수 있는 대체 지표가 아니라는 것을 시사한다.