[논문 리뷰] Coverage-based Neural Machine Translation.

Zhaopeng Tu, Zhengdong Lu외 3명|arXiv (Cornell University)|2016. 01. 19.

Natural Language Processing Techniques참고 문헌 4인용 수 54

한 줄 요약

이 논문은 과거의 어텐션 정렬을 추적하기 위해 커버리지 벡터를 유지하는 커버리지 기반 신경 기계 번역(NMT) 모델을 제안한다. 이는 과도한 번역과 부족한 번역을 줄이고, 이전에 주목하지 않은 소스 단어에 초점을 맞추도록 모델을 안내함으로써 성능을 향상시킨다. 실험 결과, 표준 NMT 대비 어텐션 정렬 품질과 번역 성능에서 뚜렷한 향상이 나타났다.

ABSTRACT

However, attentional NMT ignores past alignment information, which leads to over-translation and under-translation problems. In response to this problem, we maintain a coverage vector to keep track of the attention history. The coverage vector is fed to the attention model to help adjust the future attention, which guides NMT to pay more attention to the untranslated source words. Experiments show that coverage-based NMT significantly improves both alignment and translation quality over NMT without coverage.

연구 동기 및 목표

• 어텐션 기반 신경 기계 번역에서의 과도 번역 및 부족 번역 문제를 해결하기 위해.
• 어텐션 메커니즘에 이력 어텐션 정보를 통합하여 정렬 정확도를 향상시키기 위해.
• 과거 정렬 패턴을 바탕으로 동적 어텐션 조정을 통해 번역 품질을 향상시키기 위해.
• 구조적 개편 없이도 효과적인 성능 향상을 이끌 수 있는 단순하지만 효과적인 메커니즘을 제공하기 위해.

제안 방법

• 시간이 지남에 따라 어텐션 가중치를 누적하는 커버리지 벡터를 유지하여 소스 단어 정렬의 이력을 표현한다.
• 이 커버리지 벡터를 어텐션 메커니즘의 입력으로 사용하여 이미 주목한 소스 단어에 대해 벌점을 적용한다.
• 표준 도트 곱 어텐션과 커버리지 벡터를 조합하여 커버리지 인식 어텐션 분포를 계산한다.
• 각 디코딩 단계에서 커버리지 벡터를 업데이트하여 새로 주목한 소스 단어를 반영한다.
• 이미 커버리지가 적용된 소스 단어에 대한 재어텐션을 억제하도록 어텐션 메커니즘을 수정하여 균일한 커버리지가 유지되도록 한다.

실험 결과

연구 질문

• RQ1 어텐션 이력을 유지함으로써 신경 기계 번역에서 정렬 정확도를 향상시킬 수 있는가?
• RQ2 커버리지 정보를 통합함으로써 NMT에서 과도 번역과 부족 번역을 줄일 수 있는가?
• RQ3 표준 NMT 대비 커버리지 기반 어텐션은 전체 번역 품질에 어떤 영향을 미치는가?
• RQ4 간단한 커버리지 벡터 메커니즘은 시퀀스 투 시퀀스 모델의 어텐션 동역학을 뚜렷하게 향상시킬 수 있는가?

주요 결과

• 커버리지 기반 NMT 모델은 표준 NMT보다 유의미하게 높은 정렬 품질을 달성한다.
• 커버리지 벡터를 통해 주목한 소스 단어를 효과적으로 추적함으로써 과도 번역과 부족 번역을 줄인다.
• 자동 평가 지표로 측정한 번역 품질이 뚜렷하게 향상된다.
• 다양한 데이터셋과 모델 아키텍처에서 일관된 성능 향상이 나타난다.