[論文レビュー] Counterfactual Risk Minimization: Learning from Logged Bandit Feedback

Adith Swaminathan, Thorsten Joachims|arXiv (Cornell University)|Feb 9, 2015

Advanced Bandit Algorithms Research参考文献 35被引用数 124

ひとこと要約

本稿では、部分的フィードバック（例：クリック）しか観測されないログバンドイットフィードバックからのバッチ学習のための原理的枠組みである反事後リスク最小化（CRM）を紹介する。POEMと呼ばれる効率的なアルゴリズムを提案し、構造的出力予測に確率的指数型モデルを用いることで、確率的勾配降下法を用いて分散に配慮した、プロパティ重み付きリスク推定器を最小化することにより、最先端の手法よりも優れた汎化性能と頑健性を達成する。

ABSTRACT

We develop a learning principle and an efficient algorithm for batch learning from logged bandit feedback. This learning setting is ubiquitous in online systems (e.g., ad placement, web search, recommendation), where an algorithm makes a prediction (e.g., ad ranking) for a given input (e.g., query) and observes bandit feedback (e.g., user clicks on presented ads). We first address the counterfactual nature of the learning problem through propensity scoring. Next, we prove generalization error bounds that account for the variance of the propensity-weighted empirical risk estimator. These constructive bounds give rise to the Counterfactual Risk Minimization (CRM) principle. We show how CRM can be used to derive a new learning method -- called Policy Optimizer for Exponential Models (POEM) -- for learning stochastic linear rules for structured output prediction. We present a decomposition of the POEM objective that enables efficient stochastic gradient optimization. POEM is evaluated on several multi-label classification problems showing substantially improved robustness and generalization performance compared to the state-of-the-art.

研究の動機と目的

• ログバンドイットフィードバックからの学習に取り組むこと、ここでは完全な教師信号が欠如しており、部分的フィードバック（例：クリック）のみが利用可能であること。
• オフポリシーのリスク推定におけるバイアスと分散の両方を考慮した一般化学習原理を構築し、履歴ログからの頑健なモデル選択を可能にすること。
• 出力空間が大きな構造的予測のための効率的な最適化手法を設計し、仮説表現として確率的ポリシーを用いること。
• 劣化したログポリシーからのデータ学習でも、反事後リスク最小化により改善されたポリシーを獲得できることを示すこと。
• CRM原理をマルチラベル分類タスクにおいて実証的に検証し、最先端の手法と比較して優れた汎化性能を示すこと。

提案手法

• バンドイットフィードバック下での確率的仮説族にまで拡張された構造的リスク最小化を一般化した原則として、反事後リスク最小化（CRM）を提案する。
• 経験的ベルンシュタインの議論を用いて一般化誤差バウンドを導出し、プロパティ重み付きリスク推定器の分散を組み込むことで、仮説選択を支援する。
• POEM（指数型モデルのためのポリシー最適化手法）を開発し、線形ルールを用いた指数型分布族に基づく構造的出力予測のための学習アルゴリズムを提供する。
• 繰り返し分散線形化を用いて、POEMの目的関数を、AdaGradを用いた確率的勾配最適化に適した形に分解する。
• 逆プロパティスコアを用いて、オフポリシー性能の不偏推定器を構築し、ログデータから代替ポリシーの評価を可能にする。
• リスク推定器の分散に基づくデータ依存の正則化項を導入し、劣悪なログポリシーに対しても頑健性を確保する。

実験結果

リサーチクエスチョン

• RQ1 部分的フィードバック下でバイアスと分散の両方を考慮した、ログバンドイットフィードバックからのバッチ学習のための原理的枠組みを開発できるか？
• RQ2 部分的フィードバック下での確率的仮説族に対して、一般化誤差バウンドをどのように構築できるか。また、それらはモデル選択をどのように支援するか？
• RQ3 バンドイットフィードバックのみを用いて、指数的サイズの出力空間を持つ構造的予測のためのスケーラブルな最適化手法を導出できるか？
• RQ4 ログポリシーの品質と確率的性質が、CRM原理下での学習済みポリシーの性能にどのように影響を与えるか？
• RQ5 提案手法は、現実のマルチラベル分類タスクにおいて、最先端の手法と比較して汎化性能と頑健性の両面で優れているか？

主な発見

• POEMは、劣悪なポリシーがログに記録したデータで学習しても、最先端の手法と比較して顕著に優れた汎化性能を達成する。
• $h_0$ がうまく訓練されていなくても、POEMは一貫して $h_0$ を上回るポリシーを学習する。これは、劣悪なログ行動に対しても頑健であることを示している。
• ログポリシーの品質（$f$ が訓練データの1%から100%まで）の変動に対してもPOEMの性能は安定しており、多様なデータ品質からの学習が有効に行われている。
• ログポリシーが非常に決定的になる場合でもPOEMの性能は維持され、極端な状況では $h_0$ のMAP予測を回復する。これは滑らかな劣化を示している。
• Yeast や LYRL を含む全データセットで一貫した改善が得られ、最終モデルのハイパーパramータチューニングは不要であった。
• 実験結果はCRMの理論的主張を支持しており、分散に配慮したリスク最小化が、標準的手法よりも優れた汎化性能をもたらすことを実証した。