[論文レビュー] A Reinforcement Learning Approach to Interactive-Predictive Neural Machine Translation

Tsz Kin Lam, Julia Kreutzer+1 more|arXiv (Cornell University)|May 3, 2018

Natural Language Processing Techniques被引用数 22

ひとこと要約

本論文では、完全な修正の代わりに部分翻訳に対する品質判断（弱いフィードバック）を用いることで人間の作業負荷を低減する強化学習に基づくインタラクティブ予測型ニューラル機械翻訳システム、BIP-NMTを提案する。フィードバックはモデルの不確実性が高くなった場合にのみ発動され、各相互作用後にオンラインでモデルパラメータを更新する。この手法により、入力1件あたり平均5件のフィードバック要求で翻訳品質（文字FスコアおよびBLEU）が顕著に向上した。

ABSTRACT

We present an approach to interactive-predictive neural machine translation that attempts to reduce human effort from three directions: Firstly, instead of requiring humans to select, correct, or delete segments, we employ the idea of learning from human reinforcements in form of judgments on the quality of partial translations. Secondly, human effort is further reduced by using the entropy of word predictions as uncertainty criterion to trigger feedback requests. Lastly, online updates of the model parameters after every interaction allow the model to adapt quickly. We show in simulation experiments that reward signals on partial translations significantly improve character F-score and BLEU compared to feedback on full translations only, while human effort can be reduced to an average number of $5$ feedback requests for every input.

研究の動機と目的

• 完全な修正の代わりに単純な品質判断を用いることで、インタラクティブ予測型ニューラル機械翻訳における人間の作業負荷を低減すること。
• エントロピーに基づく不確実性をフィードバックのトリガーとして用いることで、人間の相互作用回数を最小限に抑えること。
• 各相互作用後にオンラインでパラメータを更新することにより、翻訳モデルの迅速な適応を可能にすること。
• スパarsな文単位のフィードバックではなく、密集したセグメント単位の報酬信号を活用することで翻訳品質を向上させること。
• バンディットスタイルの強化学習をニューラル機械翻訳における系列対系列学習に適用する可能性を示すこと。

提案手法

• 本システムは、アドバンテージアクターキリティックフレームワークを用い、エージェント（アクター）が部分翻訳を生成し、評価者（クリティック）が各行動の期待報酬を推定する。
• 人間のフィードバックは、部分翻訳に対する実数値の品質判断（例：0から1）として提供され、弱い報酬信号として機能する。
• モデルの予測エントロピーが履歴エントロピーに基づくしきい値を超えた場合にのみフィードバックが発動され、不確実性を示す。
• 各フィードバック相互作用後にポリシー勾配法を用いてオンラインでモデルパラメータを更新し、期待累積報酬を最大化する。
• 高い品質の部分翻訳（しきい値μを超えるもの）はプレフィックスバッファに保存され、以降の推論ステップで強制デコードに再利用される。
• エントロピー基準はアクター・モデルの進化に応じて動的に更新され、適応的かつ能動的な学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 部分翻訳に対する品質判断という弱いフィードバックが、全系列フィードバックよりも翻訳品質の向上に効果的であるか？
• RQ2 不確実性に基づくフィードバックトリガーが、インタラクティブNMTにおける人間の相互作用回数を削減できるか？
• RQ3 各フィードバック相互作用後にオンラインでモデルを更新することで、より迅速な適応と優れた性能が達成できるか？
• RQ4 高品質な部分翻訳を再利用するプレフィックスバッファの統合が、全体のシステム効率および正確性にどのように影響するか？
• RQ5 スパarsで遅延する報酬を持つ状況において、強化学習技術がインタラクティブニューラル機械翻訳に効果的に適用可能か？

主な発見

• BIP-NMTは、文単位のフィードバックでのみ学習したモデルと比較して、文字FスコアおよびBLEUの両面で顕著な向上を達成した。
• 人間のフィードバック作業負荷は、平均で入力1件あたり5件の要求にまで低減された。これは主に不確実性に基づくフィードバックトリガー機構のおかげである。
• セグメント単位の報酬信号の使用により、スパarsな文単位のフィードバックよりも収束が速く、適応性が向上した。
• プレフィックスバッファ機構により、特に後続のデコードステップで高品質な部分翻訳を再利用することで翻訳品質が向上した。
• アクター・クリティックフレームワークにより、安定的かつ効果的なポリシー学習が可能となり、クリティックは負のアドバンテージスコアを通じて問題のあるトークン（例：誤った前置詞）を正しく同定した。
• シミュレーション結果から、オンライン更新がモデルの適応性を顕著に向上させ、繰り返しの人間介入の必要性を低減することが示された。