[論文レビュー] Automatic Post-Editing for Machine Translation

Rajen Chatterjee|arXiv (Cornell University)|Oct 18, 2019

Natural Language Processing Techniques参考文献 124被引用数 5

ひとこと要約

本学位論文は、機械翻訳品質を向上させるための下流タスクとしての自動ポストエディティング（APE）の包括的フレームワークを提案する。このフレームワークは、文脈に配慮した翻訳のための要因付き言語モデルと統合表現を用いたハイブリッドフレーズベースAPEシステム、およびニューラル手法、オンライン学習、品質推定（QE）との統合を活用している。2017年のWMT APE共同タスクで最良のシステムを達成し、再トレーニングを伴わずに外部知識を統合できる画期的なガイド付きデコード機構を導入した。

ABSTRACT

Automatic Post-Editing (APE) aims to correct systematic errors in a machine translated text. This is primarily useful when the machine translation (MT) system is not accessible for improvement, leaving APE as a viable option to improve translation quality as a downstream task - which is the focus of this thesis. This field has received less attention compared to MT due to several reasons, which include: the limited availability of data to perform a sound research, contrasting views reported by different researchers about the effectiveness of APE, and limited attention from the industry to use APE in current production pipelines. In this thesis, we perform a thorough investigation of APE as a downstream task in order to: i) understand its potential to improve translation quality; ii) advance the core technology - starting from classical methods to recent deep-learning based solutions; iii) cope with limited and sparse data; iv) better leverage multiple input sources; v) mitigate the task-specific problem of over-correction; vi) enhance neural decoding to leverage external knowledge; and vii) establish an online learning framework to handle data diversity in real-time. All the above contributions are discussed across several chapters, and most of them are evaluated in the APE shared task organized each year at the Conference on Machine Translation. Our efforts in improving the technology resulted in the best system at the 2017 APE shared task, and our work on online learning received a distinguished paper award at the Italian Conference on Computational Linguistics. Overall, outcomes and findings of our work have boost interest among researchers and attracted industries to examine this technology to solve real-word problems.

研究の動機と目的

• 機械翻訳システムが利用できない状況で翻訳エラーを是正できるAPEの潜在的価値にもかかわらず、研究および産業分野での採用が限定的であるという問題に対処する。
• 特に汎用ドメイン翻訳タスクにおいて顕著なデータ不足とスパarsity問題を克服する。
• 外部知識と品質推定信号をニューラルデコードに統合することでAPEのパフォーマンスを向上させる。
• 多様なデータ分布に即時に適応できるオンライン学習フレームワークを構築する。
• 過剰補正といったタスク固有の問題を、新たな損失関数と制約を考慮したデコードによって軽減する。

提案手法

• 文脈に配慮した翻訳を実現するための要因付き言語モデルと統合表現を用いたハイブリッドフレーズベースAPEシステムを提案した。
• 元語と対象語の両方の言語特徴を活用することで補正性能を向上させたマルチソースニューラルAPEモデルを設計した。
• 再トレーニングを伴わずに外部知識（例：用語制約）をニューラル機械翻訳（NMT）デコーダーに統合するガイド付きデコード機構を導入した。
• 自動品質推定（QE）信号を活性化要因、ガイド、または選択要因として統合し、APE意思決定の質を向上させた。
• 動的知識ベースの更新と負のフィードバックループを備えたオンラインAPEシステムを開発し、リアルタイムで新たなデータに適応できるようにした。
• 過剰補正を低減させるためにタスク固有の損失関数を適用し、修正後の出力と正解翻訳との整合性を向上させた。

実験結果

リサーチクエスチョン

• RQ1 MTシステムが利用できない状況でAPEを下流タスクとして適用することで、翻訳品質を効果的に向上させることができるか？
• RQ2 特に汎用ドメイン設定において、データスパarsityに強く対応できるAPEシステムはどのように構築できるか？
• RQ3 外部知識と品質推定信号は、ニューラルAPEデコードの向上にどの程度寄与できるか？
• RQ4 オンライン学習フレームワークは、動的で現実世界のデータ環境においてAPEパフォーマンスを向上させられるか？
• RQ5 過剰補正（APEで一般的な問題）は、アーキテクチャ的および損失関数的革新によってどのように軽減できるか？

主な発見

• 提案されたAPEシステムは、2017年のWMT APE共同タスクで、EN-DEおよびDE-ENの両言語対で、他のすべての参加システムを上回る最高のパフォーマンスを達成した。
• APEに単語レベルの品質推定（QE）を統合したことで、WMT 2016年の最高成績APEシステムを大きく上回る改善が得られ、QEがガイド信号としての価値を持つことを示した。
• ガイド付きデコード機構により、微調整やモデル再トレーニングを伴わず、ニューラルAPEで用語制約を効果的に強制できた。
• 動的知識ベースの更新と負のフィードバックループを備えたオンラインAPEは、変化するデータに対して堅牢なパフォーマンスを発揮し、イタリア計算言語学会会議で優秀論文賞を受賞した。
• ドメイン特化データでは優れた結果を示したが、データスパarsityのため、汎用データではAPEパフォーマンスが低下した。これは依然として根強い課題であることを示している。
• オラクルQEシステムの使用により顕著な改善が得られた。これは、最先端のQEモデルが最適APEパフォーマンスにさらに近づける可能性を示唆している。