[논문 리뷰] Temporal Attention Model for Neural Machine Translation

Baskaran Sankaran, Haitao Mi외 2명|arXiv (Cornell University)|2016. 08. 09.

Natural Language Processing Techniques참고 문헌 21인용 수 52

한 줄 요약

이 논문은 반복 및 생략 오류를 줄이고 번역 품질을 향상시키기 위해 시간에 따라 기억하고 조절하는 정렬을 가능하게 하는 일종의 시간적 주의 메커니즘을 제안한다. 기존의 NMT 기준 모델 대비 1.5 BLEU 포인트 향상시키며, 앙상블 없이도 강력한 SMT 기준 모델을 능가한다.

ABSTRACT

Attention-based Neural Machine Translation (NMT) models suffer from attention deficiency issues as has been observed in recent research. We propose a novel mechanism to address some of these limitations and improve the NMT attention. Specifically, our approach memorizes the alignments temporally (within each sentence) and modulates the attention with the accumulated temporal memory, as the decoder generates the candidate translation. We compare our approach against the baseline NMT model and two other related approaches that address this issue either explicitly or implicitly. Large-scale experiments on two language pairs show that our approach achieves better and robust gains over the baseline and related NMT approaches. Our model further outperforms strong SMT baselines in some settings even without using ensembles.

연구 동기 및 목표

• 번역에서 반복되는 소스 조각과 번역 시 누락되는 내용 등의 주의 메커니즘의 결함 문제를 해결한다.
• 시간적 정렬 역사 인코딩을 통해 순차적 번역에서 주의의 강건성과 충분성을 향상시킨다.
• 추가 파rameter 없이 자연스럽게 일대다 및 다대다 정렬을 지원하는 메커니즘을 개발한다.
• 커버리지 임베딩 및 국소 주의와 같은 기존 NMT 접근 방식보다 번역 품질과 정렬 정확도에서 뛰어난 성능을 달성한다.
• 앙성 없이도 강력한 SMT 시스템과 비교해 최상의 성능을 달성한다.

제안 방법

• 디코더 타임스텝마다 주의 정렬 가중치를 기억하여 과거 정렬의 시간적 메모리를 형성한다.
• 누적된 시간적 정렬 역사 정보를 사용해 현재 주의 분포를 조절함으로써 이전에 주의를 기울인 단어에 대한 과도한 주의를 방지한다.
• 시간적 메모리를 소스 애너테이션과 디코더 히든 상태와 통합하여 동적이고 맥락 인식 주의 가중치를 계산한다.
• 기존 주의 계산을 메모리 보강 메커니즘으로 재사용함으로써 추가 파rameter를 도입하지 않는다.
• 데이터에 의해 지원될 경우 여러 소스 조각에 주의를 기울일 수 있도록 함으로써 고번식도(다대다 정렬) 모델링을 가능하게 한다.
• 교차 엔트로피 손실을 사용하여 표준 NMT 목표 함수에 따라 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 과거 정렬의 시간적 메모리가 NMT에서 주의의 안정성 향상과 반복 감소에 기여하는가?
• RQ2 정렬 역사 모델링이 소스 내용의 보다 완전한 커버리지와 생략 오류 감소에 기여하는가?
• RQ3 제안된 시간적 주의 메커니즘이 커버리지 임베딩 및 국소 주의와 비교해 번역 품질과 정렬 정확도에서 어떻게 성능을 내는가?
• RQ4 앙성 없이도 강력한 SMT 시스템과 비교해 유사하거나 뛰어난 성능을 달성할 수 있는가?
• RQ5 시간적 주의 메커니즘이 수동 애너테이션 데이터 기반 정렬 F1 점수에 얼마나 기여하는가?

주요 결과

• 제안된 시간적 주의 모델은 De-En 언어 쌍에서 기준 NMT 모델 대비 1.5 BLEU 포인트 향상된 성능을 기록했다.
• En-Jp 설정에서는 BLEU 점수 28.70과 Ribes 점수 0.7232를 기록하며 기준 LVNMT를 능가했다.
• 지역 주의 기준 모델 대비 반복 구문을 40% 감소시켰으며, 평균 반복 길이는 7.27에서 3.47 토큰으로 감소했다.
• Zh-En 테스트 세트에서 정렬 F1 점수는 46.71을 기록했으며, 기준 NMT 대비 2.5 포인트 향상되었고, 커버리지 임베딩 대비 1.5 포인트 향상되었다.
• 강력한 SMT 기준 모델(예: MT06 및 MT08-Web)보다 BLEU 점수에서 뛰어나며, 일부 테스트 세트에서 절대적 향상 3 포인트를 기록했다.
• 시간적 주의 시스템의 앙상블 모델은 최대 2 BLEU 포인트 향상되었으며, SMT를 약 2 BLEU 포인트 뛰어넘었다.