[論文レビュー] Learning from Bandit Feedback: An Overview of the State-of-the-art

Olivier Jeunen, Dmytro Mykhaylov+4 more|arXiv (Cornell University)|Sep 18, 2019

Advanced Bandit Algorithms Research参考文献 12被引用数 5

ひとこと要約

本稿では、重要度サンプリングと分散低減を活用するIPS、POEM、SNIPS、デュアルラーニングなどの手法を用いた、レコメンデーションシステムにおけるオフポリシー学習手法の包括的比較を提示している。RecoGymを用いた実験により、文脈的バンディット手法が限られたデータ条件下で優れた性能を示す一方で、デュアルバンディットおよび分散正則化手法が、負のフィードバックを統合することにより、より高いロバスト性と性能を実現することが明らかになった。

ABSTRACT

In machine learning we often try to optimise a decision rule that would have worked well over a historical dataset; this is the so called empirical risk minimisation principle. In the context of learning from recommender system logs, applying this principle becomes a problem because we do not have available the reward of decisions we did not do. In order to handle this "bandit-feedback" setting, several Counterfactual Risk Minimisation (CRM) methods have been proposed in recent years, that attempt to estimate the performance of different policies on historical data. Through importance sampling and various variance reduction techniques, these methods allow more robust learning and inference than classical approaches. It is difficult to accurately estimate the performance of policies that frequently perform actions that were infrequently done in the past and a number of different types of estimators have been proposed. In this paper, we review several methods, based on different off-policy estimators, for learning from bandit feedback. We discuss key differences and commonalities among existing approaches, and compare their empirical performance on the RecoGym simulation environment. To the best of our knowledge, this work is the first comparison study for bandit algorithms in a recommender system setting.

研究の動機と目的

• ログされた行動と報酬しか入手できないバンディットフィードバック下でのレコメンデーションシステム向け最近年のオフポリシー学習手法の評価と比較を行う。
• 実世界のシミュレーション環境における反事後的リスク最小化（CRM）手法の実用的有効性を評価する。
• 分散低減および負のフィードバックの統合が、ポリシー学習のロバスト性と性能に与える影響を調査する。
• RecoGymシミュレーション環境を用いて、レコメンデーションシステム文脈におけるバンディットアルゴリズムの最初の実証的比較を提供する。

提案手法

• ログされた相互作用に基づき、逆プロパティスティックスコアで再重み付けすることで、観測されなかった行動の性能を重要度サンプリング（IPS）を用いて推定する。
• POEMおよびSNIPSにおいて、高分散のIPS推定に対して学習を安定化させるために、クリッピングやペナルティによる分散低減技術を適用する。
• デュアルバンディット手法では、クリック確率の尤度推定と文脈的バンディットポリシー学習を統合し、肯定的フィードバックに加えて否定的フィードバックも活用する。
• クリック予測モデルと行動選択モデルの間で共有パラメータ化を採用し、両目的を同時に最適化する。
• フルバッチL-BFGSを用いてモデルを最適化し、数値安定性を確保するため、対数尤度の下界をジェンセンの不等式から導出する。
• RecoGymシミュレーション環境を用いて、人気ベースのログポリシーに従う現実的なバンディットフィードバックデータを生成し、A/Bテスト方式によるポリシー性能の評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 訓練データが限られた場合、異なるオフポリシー推定器のCTRはどのように変化するか？
• RQ2 分散正則化（例：POEMおよびSNIPSにおけるもの）は、ポリシー学習の安定性と精度にどのような影響を及ぼすか？
• RQ3 非クリック行動（＝負のフィードバック）を統合することで、クリックされた行動のみを用いる手法に比べ、ポリシー性能は向上するか？
• RQ4 ログポリシーの選択が、オフポリシー学習手法の性能に与える影響は何か？
• RQ5 さまざまなデータサイズおよび環境下で、最もロバストかつ正確なポリシー推定を達成するのはどの手法か？

主な発見

• 限られたデータ環境（訓練に使用可能なユーザーが5,000名のみ）では、文脈的バンディット手法が最高のCTRを達成し、他の手法を上回る性能を示した。
• クリック尤度とポリシー選択を同時に最適化するデュアルバンディット手法は、負のフィードバックを効果的に活用することで、優れた性能を発揮した。
• POEMにおける分散ペナルティは、現在の設定下では限定的な影響にとどまり、その利点はログポリシーとターゲットポリシーの乖離が大きい場合に顕著になる可能性がある。
• 訓練データが増加するに従い、尤度ベース手法は文脈的バンディットに追いつく傾向を示しており、十分なデータがある場合には純粋なクリックモデリングも有効であることが示唆された。
• SNIPSおよびPOEMは、高分散のIPS推定に対して優れたロバスト性を示したが、SNIPSの確率的最適化能力のおかげで、より広範な適用性を持つことが分かった。
• 結果から、ログポリシーの感度が学習品質に影響すること、より現実的なポリシーが採用された場合には、各手法においてより安定した性能が得られることも示唆された。