[論文レビュー] Counterfactual Learning for Machine Translation: Degeneracies and Solutions

Carolin Lawrence, Pratik Gajane+1 more|arXiv (Cornell University)|Nov 23, 2017

Machine Learning and Algorithms参考文献 12被引用数 6

ひとこと要約

本稿は、探索が存在しない決定論的ログ記録方針下での機械翻訳における反転確率スコアと再重み付け推定の退化を分析し、直接報酬推定を組み込むことで性能低下を回避する二重に頑健なおよび再重み付け推定を提案・検証する。これにより、オンライン探索を伴わずに現実のユーザーフィードバックから有効なオフライン学習が可能になる。

ABSTRACT

Counterfactual learning is a natural scenario to improve web-based machine translation services by offline learning from feedback logged during user interactions. In order to avoid the risk of showing inferior translations to users, in such scenarios mostly exploration-free deterministic logging policies are in place. We analyze possible degeneracies of inverse and reweighted propensity scoring estimators, in stochastic and deterministic settings, and relate them to recently proposed techniques for counterfactual learning under deterministic logging.

研究の動機と目的

• 機械翻訳における確率的および決定論的ログ記録方針下での逆確率スコア（IPS）および再重み付けIPSの退化を特定・形式化すること。
• 探索が存在せず確率的スコアが常に1に固定される決定論的ログ記録下で、標準的なオフポリシーエstimatorがなぜ失敗するかを説明すること。
• 直接報酬予測を組み込むことで、二重に頑健なおよび再重み付け推定がこれらの退化を克服できることを示すこと。
• オンライン探索を必要とせず、ログ記録されたユーザーフィードバックから得られる有効性を検証すること。
• 実世界のプロダクション規模の機械翻訳システムへの反転学習の適用について、理論的および実証的根拠を提供すること。

提案手法

• モデル自身の出力確率で予測報酬を正規化することで、ログ記録バイアスを是正する再重み付け決定論的確率マッチング（DPM+R）目的関数を提案する。
• 逆確率スコアと学習済みの直接報酬予測器を組み合わせることで、分散を低減し退化を回避する二重に頑健な（DR）推定器を導入する。
• 二重に頑健な推定器に分散最小化スカラー $\hat{c}$ を適用し、安定性と性能を向上させる $\hat{c}$DC 目的関数を導出する。
• 重み付き重要度サンプリングを用いてログ記録データを再重み付けし、ログ記録方針が決定論的であっても不偏推定が可能になるようにする。
• 訓練中に早期停止を適用し、確率質量が低報酬出力に集中する退化解への収束を防ぐ。
• BLEUスコアを報酬信号として用い、ドイツ語-英語およびフランス語-英語翻訳タスクでドメイン内適応を実施し、手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 機械翻訳における決定論的ログ記録下で、逆確率スコアおよびその再重み付け変種に生じる理論的退化は何か？
• RQ2 実世界の翻訳システムにおいて、標準的なオフポリシーエステイメーターが決定論的ログ記録方針に適用された際になぜ失敗するのか？
• RQ3 オフポリシーサイクル学習において直接報酬推定をどのように統合することで、決定論的ログ記録下での安定性と性能向上を達成できるか？
• RQ4 二重に頑健および再重み付け推定は、ログ記録フィードバックからのオフライン学習において、退化行動を効果的に回避し、標準的手法を上回る性能を発揮できるか？
• RQ5 これらの手法は、オンライン探索を要せず、ドメイン適応シナリオにおいて翻訳品質をどの程度向上できるか？

主な発見

• DPM+Rおよび $\hat{c}$DC 推定は、ログに記録されていなくても高報酬出力に確率質量を再配分することで、退化を効果的に回避する。
• ドイツ語-英語のTEDトークドメインでは、$\hat{c}$DCはオフドメインベースライン比でテストセットで+2.02 BLEUポイントの向上を達成した。
• フランス語-英語のニュースドメインでは、$\hat{c}$DCはテストセットで+1.13 BLEUポイントの向上を達成し、他のすべての手法を上回った。
• $\hat{c}$DC手法は、決定論的ログ記録下で、両言語対および評価セットにおいて一貫して最高の改善を達成した。
• 決定論的ログ記録と確率的ログ記録の間の性能差は小さく、提案手法が確率的探索がなくても頑健であることを示している。
• 再重み付けおよび二重に頑健な推定は、標準IPSとは異なり、低報酬出力に確率質量を割り当てることを回避するため、モデルの劣化を防ぐ。