[논문 리뷰] Automatic Post-Editing for Machine Translation

Rajen Chatterjee|arXiv (Cornell University)|2019. 10. 18.

Natural Language Processing Techniques참고 문헌 124인용 수 5

한 줄 요약

이 학위논문은 기계 번역 시스템에 접근할 수 없을 때 번역 오류를 수정할 수 있는 잠재력이 있는 자동 후처리(APE)를 보완 작업으로서의 프레임워크를 제안한다. 이 프레임워크는 어절 기반 및 신경망 기반 방법, 온라인 학습, 품질 평가 통합을 활용한다. 2017년 WMT APE 공동 과제에서 최고의 성능을 기록했으며, 재학습 없이 외부 지식을 통합할 수 있는 새로운 지도형 디코딩 메커니즘을 도입하여 신경망 APE의 성능을 향상시켰다.

ABSTRACT

Automatic Post-Editing (APE) aims to correct systematic errors in a machine translated text. This is primarily useful when the machine translation (MT) system is not accessible for improvement, leaving APE as a viable option to improve translation quality as a downstream task - which is the focus of this thesis. This field has received less attention compared to MT due to several reasons, which include: the limited availability of data to perform a sound research, contrasting views reported by different researchers about the effectiveness of APE, and limited attention from the industry to use APE in current production pipelines. In this thesis, we perform a thorough investigation of APE as a downstream task in order to: i) understand its potential to improve translation quality; ii) advance the core technology - starting from classical methods to recent deep-learning based solutions; iii) cope with limited and sparse data; iv) better leverage multiple input sources; v) mitigate the task-specific problem of over-correction; vi) enhance neural decoding to leverage external knowledge; and vii) establish an online learning framework to handle data diversity in real-time. All the above contributions are discussed across several chapters, and most of them are evaluated in the APE shared task organized each year at the Conference on Machine Translation. Our efforts in improving the technology resulted in the best system at the 2017 APE shared task, and our work on online learning received a distinguished paper award at the Italian Conference on Computational Linguistics. Overall, outcomes and findings of our work have boost interest among researchers and attracted industries to examine this technology to solve real-word problems.

연구 동기 및 목표

• 기계 번역 시스템에 접근할 수 없을 때 번역 오류를 수정할 수 있는 잠재력이 있음에도 불구하고 APE의 연구 및 산업적 도입이 제한된 이유를 해결한다.
• 특히 일반 도메인 번역 과제에서 데이터 부족 및 희소성 문제를 해결한다.
• 외부 지식과 품질 평가 신호를 신경망 디코딩에 통합하여 APE 성능을 향상시킨다.
• 다양한 데이터 분포에 실시간으로 적응할 수 있는 온라인 학습 프레임워크를 개발한다.
• 과도한 수정 문제와 같은 작업 특화 문제를 새로운 손실 함수와 제약 인식 디코딩을 통해 완화한다.

제안 방법

• 맥락 인식 번역을 위해 요인 기반 언어 모델과 공동 표현을 사용하는 하이브리드 어절 기반 APE 시스템을 제안한다.
• 원천 언어 및 대상 언어 특징을 모두 활용하여 보다 향상된 수정 성능을 달성하기 위한 다중 소스 신경망 APE 모델을 설계한다.
• 재학습 없이도 외부 지식(예: 용어 제약)을 NMT 디코더에 통합할 수 있는 지도형 디코딩 메커니즘을 도입한다.
• 자동 품질 평가(QE) 신호를 활성화자, 안내자 또는 선택자로 활용하여 APE 의사결정을 향상시킨다.
• 동적 지식 기반 업데이트와 부정적 피드백 루프를 갖춘 온라인 APE 시스템을 개발하여 실시간으로 새로운 데이터에 적응한다.
• 과도한 수정을 줄이기 위해 작업 특화 손실 함수를 적용하여 수정 결과와 기준 번역 간의 정렬을 향상시킨다.

실험 결과

연구 질문

• RQ1 비접근 가능한 기계 번역 시스템에 APE를 보완 작업으로 적용했을 때 번역 품질 향상에 효과적으로 기여할 수 있는가?
• RQ2 특히 일반 도메인 환경에서 데이터 희소성 문제에 대비해 APE 시스템을 어떻게 강건하게 만들 수 있는가?
• RQ3 외부 지식과 품질 평가 신호가 신경망 APE 디코딩에 얼마나 기여할 수 있는가?
• RQ4 동적인 실세계 데이터 환경에서 온라인 학습 프레임워크가 APE 성능을 향상시킬 수 있는가?
• RQ5 아키텍처 및 손실 함수 혁신을 통해 APE에서 흔한 과도한 수정 문제를 어떻게 최소화할 수 있는가?

주요 결과

• 제안된 APE 시스템은 2017년 WMT APE 공동 과제에서 EN-DE 및 DE-EN 언어 쌍 모두에서 모든 참가자들보다 뛰어난 성능을 기록했다.
• APE에 단어 수준의 품질 평가(QE)를 통합한 결과, 2016년 WMT APE 공동 과제의 최고 성능 시스템보다 가장 큰 향상을 기록했으며, QE가 안내 신호로서의 가치를 입증했다.
• 지난 번 학습이나 모델 재학습 없이도 지도형 디코딩 메커니즘이 성공적으로 용어 제약을 신경망 APE에 강제 적용했다.
• 동적 지식 기반 업데이트와 부정적 피드백 루프를 갖춘 온라인 APE는 변화하는 데이터에서 뛰어난 성능을 보였으며, 이는 이탈리아 컴퓨팅 언어학 회의에서 우수 논문상을 수상했다.
• 도메인 특화 데이터에서는 뛰어난 결과를 기록했지만, 일반 데이터에서는 데이터 희소성로 인해 APE 성능이 저하되어 여전히 지속적인 과제임을 확인했다.
• 오라클 QE 시스템을 사용한 결과가 뚜렷한 향상을 보였으며, 최신 기술의 QE 모델이 최적의 APE 성능에 가까이 다가갈 수 있음을 시사한다.