[論文レビュー] Off-Policy Evaluation for Large Action Spaces via Embeddings

Yuta Saito, Thorsten Joachims|arXiv (Cornell University)|Feb 13, 2022

Age of Information Optimization被引用数 5

ひとこと要約

本稿では、行動埋め込みを用いてバイアスと分散を低減する大規模な行動空間向けの新しいオフポリシー評価推定器であるMarginalized IPS（MIPS）を提案する。行動埋め込みに基づくマージナライズド重要度重みを用いることで、特に行動数が1,000を超える場合に、従来のIPSおよびDR推定器と比較して顕著に低い平均二乗誤差を達成し、レコメンドシステムのような高次元設定における信頼性の高いポリシー評価を可能にする。

ABSTRACT

Off-policy evaluation (OPE) in contextual bandits has seen rapid adoption in real-world systems, since it enables offline evaluation of new policies using only historic log data. Unfortunately, when the number of actions is large, existing OPE estimators -- most of which are based on inverse propensity score weighting -- degrade severely and can suffer from extreme bias and variance. This foils the use of OPE in many applications from recommender systems to language models. To overcome this issue, we propose a new OPE estimator that leverages marginalized importance weights when action embeddings provide structure in the action space. We characterize the bias, variance, and mean squared error of the proposed estimator and analyze the conditions under which the action embedding provides statistical benefits over conventional estimators. In addition to the theoretical analysis, we find that the empirical performance improvement can be substantial, enabling reliable OPE even when existing estimators collapse due to a large number of actions.

研究の動機と目的

• 行動空間が大きい場合に、既存のオフポリシー評価（OPE）推定器で顕著に生じるバイアスと分散の劣化を是正すること。
• 構造的行動埋め込み（例：映画のジャンル、監督など）を活用して、OPEにおける統計的効率を向上させること。
• 標準的なIPSよりも弱い条件下でも不偏性を保つ理論的根拠に基づいた推定器を開発すること。
• 埋め込みの品質と次元数が引き起こすバイアス-分散トレードオフを特定すること。
• MIPSが、従来の推定器が高次元の行動空間の濃度の高さのために失敗する状況でも、信頼性のあるOPEを可能にすることを実証的に検証すること。

提案手法

• 行動埋め込みの周辺分布に基づいて重要度重みを計算する、Marginalized IPS（MIPS）を提案。個々の行動ではなく、行動埋め込みに基づく。
• 新しい重要度重みを $ w(e) = \frac{\pi(a|x,e)}{\pi_0(a|x,e)} $ と定義し、ここで $ e $ は行動 $ a $ の埋め込みを表す。この重みを用いてポリシーの価値を推定する。
• 行動埋め込みが報酬への行動のすべての因果的影響を媒介する条件の下で不偏性を確立する。
• MIPSのバイアス、分散、平均二乗誤差（MSE）に対する理論的バウンディングを導出し、高次元行動空間において分散低減が達成されることを示す。
• 埋め込みの仮定を意図的に破るために、関連性の低い埋め込み次元を削除する戦略を導入し、MSEを最小化する。
• 実世界および合成バンディットデータ上で推定器の性能を比較するため、ブートストラップに基づく評価と相対二乗誤差（rel-SE）を用いる。

実験結果

リサーチクエスチョン

• RQ1 行動埋め込みを用いることで、どのような条件下で大規模な行動空間において不偏なオフポリシー評価が可能になるか？
• RQ2 行動数が増加するに従い、MIPSの分散はIPSおよびDR推定器と比べてどのように変化するか？
• RQ3 MIPSにおけるバイアスと分散のトレードオフは何か？また、埋め込みの品質はこのトレードオフにどのように影響するか？
• RQ4 高濃度の行動空間において、MIPSは既存のOPE推定器よりも低い平均二乗誤差を達成できるか？
• RQ5 関連性の低い埋め込み次元を削除することは、バイアスを多少増加させてもMIPSのMSEを改善できるか？

主な発見

• 行動数が1,000を超える場合、MIPSはIPSおよびDR推定器と比較して顕著に低い平均二乗誤差を達成し、一部のケースでは分散が300倍以上低減されている。
• 行動数が10から5,000に増加する際、IPSの分散は300倍以上に増加するが、MIPSは埋め込みに基づく周辺化により低分散を維持している。
• 埋め込みが行動と報酬の因果的関係を正確に反映している場合、MIPSはIPSよりもバイアスが小さい。
• 関連性の低い埋め込み次元を削除することで、バイアスの増加よりも分散の低減が顕著に大きくなり、全体のMSEが向上する。これは提案されたトレードオフ戦略の有効性を裏付けている。
• 実世界バンディットデータにおける実証的結果から、MIPSはサンプルサイズにかかわらず、IPS、DR、MRDRを常に相対二乗誤差の観点で上回っている。
• 相対二乗誤差の累積分布関数（CDF）は、行動埋め込みが有用な場合、限定的なデータでも90％のブートストラップ試行でMIPSが優れた性能を発揮していることを示している。