[論文レビュー] Stochastic Structured Prediction under Bandit Feedback

Artem Sokolov, Julia Kreutzer+2 more|arXiv (Cornell University)|Jun 2, 2016

Advanced Bandit Algorithms Research参考文献 27被引用数 12

ひとこと要約

本稿では、予測出力の部分的損失フィードバック（例：1つの予測出力の損失）しか得られないバンドイットフィードバック下での確率的構造予測アルゴリズムを提案する。期待損失、交差エントロピー、ペairワイズ順序学習の3つの目的関数を導入・分析し、ペアワイズ順序学習が、理論的（最小の二乗勾配ノルム）および実践的（最適な開発データ性能）基準の両方で、勾配の分散とリプシッツ定数が小さいため、最も速い収束を達成することを示している。

ABSTRACT

Stochastic structured prediction under bandit feedback follows a learning protocol where on each of a sequence of iterations, the learner receives an input, predicts an output structure, and receives partial feedback in form of a task loss evaluation of the predicted structure. We present applications of this learning scenario to convex and non-convex objectives for structured prediction and analyze them as stochastic first-order methods. We present an experimental evaluation on problems of natural language processing over exponential output spaces, and compare convergence speed across different objectives under the practical criterion of optimal task performance on development data and the optimization-theoretic criterion of minimal squared gradient norm. Best results under both criteria are obtained for a non-convex objective for pairwise preference learning under bandit feedback.

研究の動機と目的

• 完全な正解ラベルではなく、1つの予測出力の損失しか得られない部分的フィードバックが与えられるインタラクティブな学習シナリオにおける構造予測を扱う。
• 構造予測における凸および非凸の目的関数に対して、バンドイットフィードバック下での確率的1階最適化法の収束挙動を分析する。
• 実際のNLP応用において、開発データの早期停止に基づく実践的収束と、二乗勾配ノルムに基づく理論的収束基準の相関関係を比較する。
• 機械翻訳および名詞句抽出タスクにおいて、期待損失、交差エントロピー、ペアワイズ順序学習の3つの学習目的関数の性能を評価する。
• 非凸目的関数（ペアワイズ順序学習）が、漸近的複雑度バウンズが悪いにもかかわらず、実際には強い凸関数（交差エントロピー）を上回る理由を調査する。

提案手法

• 探索段階でロジスティック線形確率モデルを用いて出力構造をサンプリングし、その後、サンプリングされた構造の損失フィードバックに基づく不偏勾配推定値を用いてモデル重みを更新する。
• 期待損失（非凸）、交差エントロピー（強く凸）、ペアワイズ順序学習（非凸）の3つの目的関数を最小化するために、確率的1階最適化（SFO）を適用する。
• 勾配推定器は、完全なラベルではなく、相対的フィードバック（例：「AはBより良い」）から得られるポリシー勾配スタイルの更新を用いて構築される。
• オンラインからバッチへの変換を用いて評価し、開発データで最高性能を示したモデルを最終的なテスト評価用に選択する。
• 収束は二乗勾配ノルム $\mathbb{E}[\|\nabla J(w_t)\|^2]$ を用いて分析され、収束速度の評価のためにリプシッツ定数 $L$ と勾配分散 $\sigma^2$ を推定する。
• アルゴリズムは、指数的出力空間を持つ統合機械翻訳（SMT）および名詞句抽出タスクに適用され、定数学習率と早期停止を用いる。

実験結果

リサーチクエスチョン

• RQ1 バンドイットフィードバック下でペアワイズ順序学習が、実際のNLP応用において期待損失および交差エントロピー最小化よりも速い収束を達成するか？
• RQ2 確率的構造予測において、理論的収束基準（二乗勾配ノルム）と実践的収束（開発データでの早期停止）の相関関係は何か？
• RQ3 漸近的複雑度バウンズが悪いにもかかわらず、非凸目的関数（ペアワイズ順序学習）が実際には強く凸な関数（交差エントロピー）を上回る理由は何か？
• RQ4 勾配分散とリプシッツ定数が、バンドイットフィードバック下での異なる目的関数の収束速度に与える影響は何か？
• RQ5 相対的フィードバック（例：「AはBより良い」）のみを必要とするペアワイズ順序学習は、実世界のインタラクティブな学習設定において、完全情報手法と同等の効果を発揮できるか？

主な発見

• 機械翻訳において、ペアワイズ順序学習（PR）は $T = 767,000$ ステップで二乗勾配ノルムが最小値 $1.03 \times 10^{-8}$ を示し、理論的収束が最も速いことを示した。
• 実際の応用では、PR(bin)は開発データで最適BLEUスコアに到達するまでに、ELおよびCEと比較して2〜4倍少ない反復回数で収束した。これは、実践的収束が速いことを確認した。
• PRの勾配分散 $\sigma^2$ は $1.78 \times 10^{-7}$ であり、CE（$35$）およびEL（$3.13 \times 10^{-4}$）と比較して数個のオーダー小さく、これが優れた収束性能の背景にある。
• PRのリプシッツ定数 $L$ は $0.10 \pm 5.7 \times 10^{-3}$ であり、CE（$1.60 \pm 0.11$）およびEL（$1.63 \pm 0.67$）と比較して顕著に小さく、収束が速いことをさらに裏付けた。
• 名詞句抽出タスクでは、PR(cont)が二乗勾配ノルム $5.99 \times 10^{-3}$ を最小値とし、開発データで最適F1スコアに到達するまでの反復回数もCEおよびELを下回った。
• 非凸目的関数であるにもかかわらず、PRは理論的および実践的両方の収束において、凸および非凸のベースラインを上回った。これは、低勾配分散と低リプシッツ定数に起因する。