[논문 리뷰] Implicit Distortion and Fertility Models for Attention-based Encoder-Decoder NMT Model

Feng Shi, Shujie Liu외 2명|arXiv (Cornell University)|2016. 01. 13.

Multimodal Machine Learning Applications참고 문헌 22인용 수 39

한 줄 요약

이 논문은 주로 어텐션 기반 신경 기계 번역(NMT)에서 발생하는 정렬 오류를 해결하기 위해 암묵적 왜곡 및 비옥도 모델을 제안한다. RecAtt(반복적 어텐션), RNNAtt(장기 기억을 갖춘 반복적 어텐션), 그리고 CondDec(조건부 디코딩)를 도입함으로써 저자들은 정렬 정확도를 향상시켜 반복과 커버리지 문제를 줄였으며, 중국어-영어 번역에서 표준 어텐션 메커니즘 대비 2 BLEU 포인트 향상된 성능을 달성했다.

ABSTRACT

Neural machine translation has shown very promising results lately. Most NMT models follow the encoder-decoder framework. To make encoder-decoder models more flexible, attention mechanism was introduced to machine translation and also other tasks like speech recognition and image captioning. We observe that the quality of translation by attention-based encoder-decoder can be significantly damaged when the alignment is incorrect. We attribute these problems to the lack of distortion and fertility models. Aiming to resolve these problems, we propose new variations of attention-based encoder-decoder and compare them with other models on machine translation. Our proposed method achieved an improvement of 2 BLEU points over the original attention-based encoder-decoder.

연구 동기 및 목표

• 순서 기반 번역 모델에서 잘못된 어텐션 정렬로 인한 번역 품질 저하 문제를 해결하기 위해.
• 재정렬 오류, 반복, 커버리지 실패 등의 정렬 오류의 근본 원인으로 암묵적 왜곡 및 비옥도 모델링의 부재를 규명하기 위해.
• 명시적 재정렬 또는 단어 비옥도 레이블이 필요 없이 어텐션 메커니즘을 향상시키기 위해 암묵적 왜곡 및 비옥도 모델을 제안하기 위해.
• 이러한 모델이 정렬 품질과 BLEU와 같은 자동 번역 지표에 미치는 영향을 평가하기 위해.
• 장거리 의존성과 반복 문제 처리에서 다양한 어텐션 변종 간의 성능과 복잡성 간의 상충 관계를 탐색하기 위해.

제안 방법

• 이전의 컨텍스트 벡터를 현재 어텐션 계산에 통합함으로써 단어 재정렬(왜곡)을 더 잘 모델링할 수 있는 반복적 어텐션 메커니즘인 RecAtt를 제안한다.
• 이전 어텐션 상태에서 학습함으로써 장거리 반복 문제를 줄이기 위해 더 긴 장기 기억을 갖춘 더 복잡한 반복적 어텐션 유닛인 RNNAtt를 도입한다.
• 어텐션 이력에 조건부로 디코딩을 수행함으로써 비옥도를 암묵적으로 모델링하는 조건부 디코딩 메커니즘인 CondDec를 개발한다. 이는 반복과 커버리지 문제를 줄이고 번역 품질을 향상시킨다.
• 기본 인코더-디코더 프레임워크를 사용하며, 인코더에는 양방향 LSTMs, 디코더에는 단방향 LSTM을 적용하고, 어텐션 메커니즘은 반복적 또는 조건부 구성 요소를 포함하도록 수정한다.
• 교차 엔트로피 손실을 사용하는 엔드 투 엔드 학습 전략을 적용하며, 어텐션 가중치는 스케일된 도트-프로덕트 어텐션 함수를 사용한 도트-프로덕트 메커니즘으로 계산된다.
• BLEU 점수와 정성적 정렬 분석을 통해 중국어-영어 번역 작업에서 RNNSearch 및 어휘 기반 SMT 기준선과 비교하여 모델을 평가한다.

실험 결과

연구 질문

• RQ1 반복적 어텐션을 통한 암묵적 왜곡 모델링이 NMT에서 정렬 정확도 향상과 재정렬 오류 감소에 기여하는가?
• RQ2 반복적 어텐션 메커니즘이 어텐션 정렬에서 장기 반복 문제를 완화하는 데 효과적인가?
• RQ3 비옥도 모델링을 통한 조건부 디코딩이 커버리지 문제를 줄이고 내용 유지 능력을 향상시키는가?
• RQ4 RecAtt, RNNAtt, CondDec와 같은 다양한 어텐션 변종 간의 BLEU 점수 및 정렬 품질에서의 성능 비교는 어떻게 이루어지는가?
• RQ5 NMT에서 반복적 어텐션 메커니즘의 모델 복잡성과 성능 간의 상충 관계는 어떠한가?

주요 결과

• RecAtt는 중국어-영어 번역에서 표준 RNNSearch 모델 대비 2 BLEU 포인트 향상된 성능을 기록했으며, 테스트된 모든 다른 변종보다 뛰어난 성능을 보였다.
• CondDec는 RNNSearch 대비 1 BLEU 포인트 향상된 번역 품질을 달성했으며, 암묵적 비옥도 모델링의 효과성을 입증했다.
• 정성적 분석 결과 RecAtt는 커버리지 문제를 크게 줄였으며, 원천 문장의 위치에 더 포괄적인 어텐션을 제공했다.
• RecAtt가 생성한 정렬은 'next year'를 'violence'가 아닌 'election'을 수식하도록 정확히 순서를 재정렬하여 문장 의미를 유지했다.
• RNNAtt는 RecAtt와 RNNSearch가 해결하지 못한 장기 반복 문제를 효과적으로 해결했지만, 학습 난이도로 인해 BLEU 점수에서 뒤처졌다.
• CondDec를 RecAtt 및 RNNAtt와 조합하는 것은 현재 활발히 연구 중이며, 향후 성능 향상 가능성을 시사한다.