[논문 리뷰] Neural Machine Translation with Supervised Attention

Lemao Liu, Masao Utiyama외 2명|arXiv (Cornell University)|2016. 09. 14.

Natural Language Processing Techniques참고 문헌 29인용 수 27

한 줄 요약

이 논문은 전통적인 정렬기인 GIZA++와 같은 정렬기로부터의 정렬을 사용하여 주의 메커니즘을 감독적으로 훈련시켜 주의 정렬 정확도를 향상시키는 Supervised Attention for Neural Machine Translation (SA-NMT)를 제안한다. 두 개의 중국어-영어 번역 작업에 대한 실험에서, SA-NMT는 감독 정렬 지침을 활용하여 강력한 베이스라인 대비 최대 2.5 BLEU 포인트의 향상을 기록했으며, 저자원 설정에서 표준 NMT와 Moses를 모두 능가했다.

ABSTRACT

The attention mechanisim is appealing for neural machine translation, since it is able to dynam- ically encode a source sentence by generating a alignment between a target word and source words. Unfortunately, it has been proved to be worse than conventional alignment models in aligment accuracy. In this paper, we analyze and explain this issue from the point view of re- ordering, and propose a supervised attention which is learned with guidance from conventional alignment models. Experiments on two Chinese-to-English translation tasks show that the super- vised attention mechanism yields better alignments leading to substantial gains over the standard attention based NMT.

연구 동기 및 목표

• 표준 주의 메커니즘이 전통적인 정렬 모델에 비해 NMT에서 낮은 정렬 정확도를 보이는 문제를 해결하기 위해.
• 비감독 주의 메커니즘이 재정렬 작업에서 왜 전통적 정렬 모델에 비해 성능이 열 劣하는지 탐구하기 위해.
• GIZA++ 또는 fast_align과 같은 오프더쉐프 정렬기에서 제공하는 감독 정렬 신호를 통합하여 NMT 성능을 향상시키기 위해.
• 주의와 번역을 정렬 지도 하에 공동으로 훈련시키면 정렬 품질과 번역 성능 양측 모두 향상되는지 탐색하기 위해.
• 단지 번역이 아니라 주의에 대한 지도 훈련이 더 나은 기울기 흐름과 모델 최적화를 이끌 수 있음을 보여주기 위해.

제안 방법

• 전통적 정렬기(예: GIZA++ 또는 fast_align)를 사용하여 훈련 병렬 코퍼스에서 사전에 단어 정렬을 계산한다.
• 공동 훈련 중 주의 메커니즘에 대해 사전에 계산된 정렬을 지도 신호로 간주한다.
• 번역 손실과 정렬 손실을 결합한 공동 훈련 목표 함수를 도입하며, 두 항을 균형 조절하기 위해 하이퍼파라미터 λ를 사용한다.
• 표준 NMT 아키텍처를 수정하여 주의 가중치 αt를 숨겨진 변수가 아니라 관측 가능한(감독 가능한) 변수로 간주한다.
• 손실 함수에 정규화 항을 도입하여 예측된 주의 가중치가 전통적 정렬기에서 얻은 정답 정렬과 일치하도록 유도한다.
• 번역과 정렬 지도를 모두 포함하여 전체 모델을 엔드 투 엔드로 훈련시켜 기울기 흐름과 정렬 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 왜 NMT의 표준 주의 메커니즘이 전통적 정렬 모델에 비해 낮은 정렬 정확도를 보이는가?
• RQ2 전통적 정렬 모델에서의 지도가 NMT의 주의 정렬 품질을 향상시킬 수 있는가?
• RQ3 정렬 지도 하에 주의를 공동으로 훈련시키면 비감독 주의에 비해 더 나은 번역 성능을 달성할 수 있는가?
• RQ4 감독 주의가 기울기 소실 문제 완화에 특히 어떤 영향을 미치는가?
• RQ5 제안된 방법이 고자원 및 저자원 번역 설정 모두에서 상당한 성능 향상을 달성할 수 있는가?

주요 결과

• 제안된 SA-NMT 모델은 대규모 중국어-영어 번역 작업에서 가장 강력한 베이스라인 대비 2.5 BLEU 포인트 향상된 성능을 기록했다.
• 저자원 중국어-영어 번역 작업에서 SA-NMT는 표준 주의 기반 NMT보다 약 5 BLEU 포인트 높은 성능을 보였다.
• SA-NMT의 주의 메커니즘의 정렬 오류율(AER)은 표준 NMT에 비해 상당히 감소하여 더 나은 단어 정렬 품질을 나타낸다.
• 정렬 지도 하에 공동 훈련은 기울기 흐름을 향상시켰으며, 주의 지도가 네트워크 상단이 아니라 중간에 위치하기 때문이다.
• 30,000개 문장 쌍만을 사용함에도 불구하고, SA-NMT는 저자원 설정에서 Moses와의 성능 격차를 좁혔으며, 이전 방법들이 더 큰 코퍼스가 필요로 했던 점을 감안할 때 뛰어난 성능을 보였다.
• 이 방법은 일반화 가능하며, 정규화 항이 훈련 목표 함수에 작용하므로 어떤 주의 기반 NMT 모델에도 적용 가능하다.