[논문 리뷰] An Exploration of Neural Sequence-to-Sequence Architectures for Automatic Post-Editing

Marcin Junczys-Dowmunt, Roman Grundkiewicz|arXiv (Cornell University)|2017. 06. 13.

Natural Language Processing Techniques참고 문헌 14인용 수 15

한 줄 요약

이 논문은 자동 후편집(APE)을 위한 이중 주의(attention) 신경 시퀀스-투-시퀀스 모델을 제안하며, 원본(src)과 기계 번역(mt) 입력을 동시에 인코딩하여 직접 후편집(pe) 출력을 예측합니다. 엔드 투 엔드 이중 주의 모델이 모든 가용 데이터를 통합함으로써 WMT-2016 APE 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전 시스템보다 1.5 TER 점수 이상 뛰어나며, 하드 주의 변형 모델은 더 적은 편집 수로 경쟁 가능한 성능을 보입니다.

ABSTRACT

In this work, we explore multiple neural architectures adapted for the task of automatic post-editing of machine translation output. We focus on neural end-to-end models that combine both inputs $mt$ (raw MT output) and $src$ (source language input) in a single neural architecture, modeling $\{mt, src\} ightarrow pe$ directly. Apart from that, we investigate the influence of hard-attention models which seem to be well-suited for monolingual tasks, as well as combinations of both ideas. We report results on data sets provided during the WMT-2016 shared task on automatic post-editing and can demonstrate that dual-attention models that incorporate all available data in the APE scenario in a single model improve on the best shared task system and on all other published results after the shared task. Dual-attention models that are combined with hard attention remain competitive despite applying fewer changes to the input.

연구 동기 및 목표

• 원본(src)과 기계 번역(mt) 입력을 동시에 모델링하는 엔드 투 엔드 신경 시퀀스-투-시퀀스 아키텍처를 연구하기 위해.
• 단일 언어 APE 작업에서 하드 주의 메커니즘이 얼마나 효율적인지 평가하기 위해.
• 이중 소프트 주의, 하드 주의, 하이브리드 주의 메커니즘의 성능 향상 효과를 비교하기 위해.
• 전체 {src, mt, pe} 삼중세트를 하나의 엔드 투 엔드 모델에 통합함으로써 이전 시스템보다 뛰어난 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• src와 mt 입력을 동시에 인코딩하여 단일 엔드 투 엔드 모델에서 pe 출력을 예측하는 이중 주의 인코더-디코더 아키텍처를 제안합니다.
• 조건부 GRU와 소프트 주의를 사용하여 표준 주의 모델링을 구현하며, 디코더가 양쪽 입력 시퀀스의 관련 부분에 집중할 수 있도록 합니다.
• 입력 시퀀스에 대해 단조롭고 비미분 가능한 주의를 강제하는 하드 주의 메커니즘을 도입하여 편집 수를 줄입니다.
• 하드 주의와 소프트 주의, 이중 소프트 주의 메커니즘을 조합하여 하이브리드 주의 전략을 탐색합니다.
• 구현 및 훈련에 Marian 신경 기계 번역 툴킷을 사용합니다.
• 최소 오차율 훈련(MERT)을 적용하여 모델 구성 요소를 튜닝하고 TER 지표 최적화를 수행합니다.

실험 결과

연구 질문

• RQ1 src와 mt 입력을 동시에 인코딩하는 이중 주의 모델이 단일 입력 모델보다 APE 성능에서 뛰어나게 되는가?
• RQ2 편집 효율성과 APE 성능 측면에서 하드 주의 메커니즘과 소프트 주의 메커니즘은 어떻게 비교되는가?
• RQ3 하드 주의와 소프트 주의를 조합한 하이브리드 아키텍처는 원본 MT 출력에 대한 충실도를 유지하면서 APE 성능을 향상시키는가?
• RQ4 전체 {src, mt, pe} 삼중세트로 훈련된 엔드 투 엔드 모델이 WMT-2016 APE 벤치마크에서 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• src와 mt 입력을 하나의 엔드 투 엔드 아키텍처에서 통합한 이중 주의 모델은 WMT-2016 공동 과제에서 가장 우수한 시스템보다 TER 점수를 1.52점 낮추었습니다.
• 이중 주의 모델의 앙상블은 동일한 테스트 세트에서 이전에 발표된 최고의 시스템 조합보다 TER 점수를 0.7점 향상시켰습니다.
• 하드 주의 모델은 훨씬 적은 편집 수로 경쟁 가능한 성능을 달성하여 원본 MT 출력에 대한 충실도가 높다는 것을 입증했습니다.
• 하드 주의 통합이 포함된 이중 소프트 주의 모델(M-CGRU-HARD)은 단일 언어 모델이 실패하는 'Satz'와 같은 단어를 복구하고, 'aus'와 같은 문법적으로 올바른 어미를 추가하는 데 성공했습니다.
• 시각화 결과 이중 주의 모델이 원본을 효과적으로 복원하는 데 src에 주목하는 경향이 있으며, mt에 대한 주의는 여전히 단조롭다는 것을 확인할 수 있었습니다.
• 앙상블은 악화된 문장의 수를 줄였지만, 향상된 문장의 수는 유의미하게 증가시키지 않았으며, 이는 성능 향상이 공격적인 수정이 아닌 일관성에서 비롯된다는 것을 시사합니다.