[論文レビュー] Interactive-Predictive Neural Machine Translation through Reinforcement and Imitation

Tsz Kin Lam, Shigehiko Schamoni+1 more|arXiv (Cornell University)|Jul 4, 2019

Natural Language Processing Techniques参考文献 35被引用数 7

ひとこと要約

本稿では、強化学習および模倣学習を活用して、効率的なモデルのパーソナライゼーションを可能にするインタラクティブ・予測型ニューラル機械翻訳フレームワークを提案する。翻訳中に弱いフィードバック（keep/deleteの編集）と専門家のデモンストレーション（置換編集）を収集することで、制約付きビームサーチを用いて改善された翻訳を生成し、2つの言語対で、大幅に少ない人的努力で教師あり学習に近いパフォーマンスを達成する。

ABSTRACT

We propose an interactive-predictive neural machine translation framework for easier model personalization using reinforcement and imitation learning. During the interactive translation process, the user is asked for feedback on uncertain locations identified by the system. Responses are weak feedback in the form of keep and delete edits, and expert demonstrations in the form of substitute edits. Conditioning on the collected feedback, the system creates alternative translations via constrained beam search. In simulation experiments on two language pairs our systems get close to the performance of supervised training with much less human effort.

研究の動機と目的

• ニューラル機械翻訳モデルのパーソナライゼーションに要する人的努力を削減すること。
• 不安定な翻訳セグメントに対して、リアルタイムでのユーザー相互作用を可能にすること。
• 弱いフィードバック（keep/delete）と専門家のデモンストレーション（置換編集）をモデルの適応に統合すること。
• 収集したユーザーのフィードバックを条件とした制約付きビームサーチにより翻訳品質を向上させること。
• インタラクティブ学習が、少ないアノテーション作業で教師あり学習に近いパフォーマンスを達成できることを示すこと。

提案手法

• システムは、翻訳の不安定なセグメントを特定し、ユーザーにフィードバックを求めること。
• フィードバックは、keep/delete編集（弱いフィードバック）および置換編集（専門家のデモンストレーション）の形で収集される。
• モデルはユーザーのフィードバックを条件として、制約付きビームサーチを用いて代替翻訳を生成する。
• 強化学習を用いて、フィードバック信号に基づきポリシーを最適化する。
• 模倣学習を用いて、専門家の置換編集を組み込み、モデルがより良い翻訳戦略に従うように導く。
• フレームワークは、2つの言語対についてシミュレーション上で訓練および評価され、効率性とパフォーマンスが評価される。

実験結果

リサーチクエスチョン

• RQ1 弱いフィードバックと専門家のデモンストレーションは、最小限の人的入力でニューラル機械翻訳の品質を向上させることができるか？
• RQ2 インタラクティブフィードバックの統合は、教師あり微調整と比較して翻訳パフォーマンスにどのように影響するか？
• RQ3 ユーザーのフィードバックを条件とした制約付きビームサーチが、どれほど高品質な代替翻訳を生成できるか？
• RQ4 著しく少ない人的アノテーション作業で、教師あり学習に近いパフォーマンスを達成できるか？
• RQ5 強化学習と模倣学習の組み合わせは、翻訳モデルのパーソナライゼーションにおいてどれほど効果的か？

主な発見

• インタラクティブ・予測型フレームワークは、教師あり学習に近い翻訳パフォーマンスを達成する。
• 弱いフィードバックと専門家のデモンストレーションを活用することで、人的アノテーション作業が顕著に削減される。
• keep/deleteおよび置換編集という形のユーザーのフィードバックは、モデルがより良い翻訳を生成するように効果的に導く。
• フィードバックを条件とした制約付きビームサーチは、高品質な代替翻訳を生成する。
• 最小限のユーザーインタラクションで、強力なパーソナライゼーションの可能性を示す。
• 2つの言語対におけるシミュレーション結果から、インタラクティブ・予測型アプローチの有効性が確認される。