[論文レビュー] Bandits with Partially Observable Confounded Data

Guy Tennenholtz, Uri Shalit+2 more|arXiv (Cornell University)|Jun 11, 2020

Advanced Bandit Algorithms Research被引用数 5

ひとこと要約

本論文は、部分的に観測可能で交絡要因を含むオフラインデータを線形の補助情報として活用することで、オンライン学習のパフォーマンスを向上させる線形コンテキストバンディットアルゴリズムを提案する。オフラインデータを観測可能な特徴空間に射影し、それを制約として組み込むことで、可視次元性に依存する要因で改善されるレグレットバウンドを達成し、交絡要因を含んでもオフラインデータがオンライン方策学習を顕著に加速できることを示している。

ABSTRACT

We study linear contextual bandits with access to a large, confounded, offline dataset that was sampled from some fixed policy. We show that this problem is closely related to a variant of the bandit problem with side information. We construct a linear bandit algorithm that takes advantage of the projected information, and prove regret bounds. Our results demonstrate the ability to take advantage of confounded offline data. Particularly, we prove regret bounds that improve current bounds by a factor related to the visible dimensionality of the contexts in the data. Our results indicate that confounded offline data can significantly improve online learning algorithms. Finally, we demonstrate various characteristics of our approach through synthetic simulations.

研究の動機と目的

• 大規模で交絡要因を含むオフラインデータを、オンラインコンテキストバンディット学習において部分的なコンテキスト特徴しか観測できない状況で効果的に活用する課題に対処すること。
• オンライン相互作用と部分的に観測可能なオフラインデータを統合した、証明可能に効率的なアルゴリズムを開発し、最適方策への収束を加速すること。
• 未観測の交絡要因が存在しても、適切に射影・制約化された場合、交絡要因を含むデータが依然として有用な情報を提供できることを示すこと。
• オフラインデータの使用に起因する改善、特に可視コンテキストの次元性の観点から、理論的レグレットバウンドを確立すること。

提案手法

• オフラインデータを、全コンテキストを観測特徴部分空間に射影した結果として得られる線形制約としてモデル化する。
• 2段階のアプローチを採用する：行動方策の自己相関行列を用いて、観測特徴と未観測特徴の線形関係を推定する。
• これらの制約をオンラインバンディット最適化に組み込み、問題の有効次元を低減する。
• 濃度不等式と行列ベルシュタイン不等式を用いて、射影空間における推定誤差の高確率制御を保証する。
• レグレット解析では、楕円型ポテンシャル補題とサブガウス型尾部バウンドを活用し、方策誤差のタイトなバウンドを導出する。
• オンライン学習者がオフラインデータの構造を活用しつつ、制約付き最適化によって交絡バイアスに対してロバストであることを保証する。

実験結果

リサーチクエスチョン

• RQ1 部分的に観測可能で交絡要因を含むオフラインデータを、線形コンテキストバンディットにおけるオンライン学習の改善に利用できるか？
• RQ2 オフラインデータの可視次元性は、オンライン学習アルゴリズムのレグレットバウンドにどのように影響するか？
• RQ3 未観測の交絡要因を含むオフラインデータとオンライン相互作用を統合する場合、どのような理論的保証を提供できるか？
• RQ4 交絡要因を含むデータから得られる線形補助情報は、依然として収束速度の向上に寄与できるか？

主な発見

• 提案されたアルゴリズムは、オフラインデータの可視次元性に依存する要因で改善されるレグレットバウンドを達成し、交絡要因を含んでも有用であることを示している。
• レグレットバウンドは $ \tilde{O}\left(\sqrt{d_{\text{vis}}} \cdot \text{polylog}(T)\right) $ にスケーリングされ、$ d_{\text{vis}} $ は観測可能な特徴の数を表し、標準的なバンディットバウンドと比較して顕著な改善を示している。
• 部分的に観測可能で交絡要因を含むオフラインデータを、有効な線形補助情報に変換し、オンライン学習の収束を加速できることを実証した。
• 理論的解析により、未観測の交絡要因が存在しても、推定方策の高確率集中が保たれることを確認した。
• 合成シミュレーションにより、オフラインデータを無視するベースラインと比較して、本手法がレグレットを低減し、学習を加速できることを検証した。