[論文レビュー] Bandit Structured Prediction for Learning from Partial Feedback in Statistical Machine Translation

Artem Sokolov, Stefan Riezler+1 more|arXiv (Cornell University)|Jan 1, 2016

Advanced Bandit Algorithms Research参考文献 44被引用数 11

ひとこと要約

この論文では、完全な参照アノテーションの代わりに、1つの予測翻訳における損失値のみを用いる部分的フィードバックを用いた構造予測の手法、Bandit Structured Prediction を紹介する。統計的機械翻訳における判別的再ランク付けに適用された結果、完全な参照フィードバックを用いる手法と同等の翻訳品質が達成された。これは、ユーザーが翻訳に対して単一の損失フィードバックのみを提供するインタラクティブなパーソナライゼーションをシミュレートするものである。

ABSTRACT

We present an approach to structured prediction from bandit feedback, called Bandit Structured Prediction, where only the value of a task loss function at a single predicted point, instead of a correct structure, is observed in learning. We present an application to discriminative reranking in Statistical Machine Translation (SMT) where the learning algorithm only has access to a 1 − BLEU loss evaluation of a predicted translation instead of obtaining a gold standard reference translation. In our experiment bandit feedback is obtained by evaluating BLEU on reference translations without revealing them to the algorithm. This can be thought of as a simulation of interactive machine translation where an SMT system is personalized by a user who provides single point feedback to predicted translations. Our experiments show that our approach improves translation quality and is comparable to approaches that employ more informative feedback in learning.

研究の動機と目的

• 完全な参照アノテーションではなく、1つの予測における損失値という部分的フィードバックしか得られない状況において、構造予測を学習する課題に対処すること。
• ゴールドの参照翻訳にアクセスできない状況でも、1つの予測ごとに 1 − BLEU 損失フィードバックのみを用いて、統計的機械翻訳における判別的再ランク付けを可能にすること。
• ユーザーが翻訳に対して単一のフィードバックのみを提供するインタラクティブな機械翻訳システムをシミュレートし、最小限のユーザー入力でパーソナライゼーションを向上させること。
• このような制限されたフィードバックでも、完全な参照フィードバックを用いる手法と同等の翻訳品質が得られるかどうかを評価すること。

提案手法

• 本手法は、予測翻訳におけるタスク損失（1 − BLEU）の値のみが観測されるバンディットフィードバック設定を採用しており、完全な参照構造は観測されない。
• 部分的フィードバックに対応するように適応された構造予測フレームワークを用い、損失信号に基づいて高品質な翻訳を選択する方策を学習する。
• 観測された予測アクションにおける損失のみを用いて、期待損失の勾配を推定し、完全な教師信号なしで方策の更新を可能にする。
• 複数の候補翻訳を、シミュレートされたユーザーからのフィードバックに基づいてランク付けする統計的機械翻訳における再ランク付けに、このフレームワークを適用する。
• 確率的勾配降下法を用いて方策を最適化し、観測された 1 − BLEU 損失に基づいてパラメータを更新する。
• 本手法は、参照翻訳が非公開であり、学習アルゴリズムに公開されるのは BLEU スコアのみであるシミュレーション環境で評価されている。

実験結果

リサーチクエスチョン

• RQ1 1つの予測ごとに完全な参照構造にアクセスできない状況でも、1つの損失フィードバック信号のみで構造予測を効果的に学習できるか？
• RQ2 完全な参照フィードバックを用いる手法と比較して、バンディットフィードバックアプローチは統計的機械翻訳における判別的再ランク付けでどの程度の性能を示すか？
• RQ3 ユーザーが翻訳に対して単一のフィードバックのみを提供するような環境で、システムは翻訳品質を向上させることができるか？ これは、インタラクティブなパーソナライゼーションをシミュレートするものである。
• RQ4 バンディット構造予測フレームワークは、SMT の再ランク付けにおいて、標準的な教師ありアプローチと同等の翻訳品質を達成できるか？

主な発見

• 提案されたバンディット構造予測アプローチは、1 − BLEU 損失値という部分的フィードバックのみを受けるにもかかわらず、SMT の再ランク付けにおいて翻訳品質の向上を実現した。
• 完全な参照翻訳を用いる手法と同等の翻訳品質を達成した。これは、構造予測における部分的フィードバックの有効性を示している。
• ユーザーが翻訳に対して単一のフィードバックのみを提供するインタラクティブな機械翻訳を効果的にシミュレートでき、最小限の入力でパーソナライゼーションを実現した。
• 実験の結果、バンディットフィードバックからの学習が、機械翻訳における構造予測タスクにおいて実行可能で効果的であることが示された。