[論文レビュー] Combining Offline Causal Inference and Online Bandit Learning for Data Driven Decision

Ye Li, Yishi Lin+2 more|arXiv (Cornell University)|Jan 16, 2020

Advanced Bandit Algorithms Research参考文献 48被引用数 5

ひとこと要約

本論文は、オフライン因果推論とオンラインバンディット学習を統合する統一フレームワークを提案し、データ駆動型意思決定を改善する。ログ記録データを用いて初期方針を決定し、LinUCBなどのアルゴリズムを用いてオンラインフィードバックに適応することで、オフラインデータやオンラインフィードバックを単独で使用する場合よりも、証明可能な低いレグレットを達成する。本手法は、フォレストベースのオンラインバンディットアルゴリズムに対する最初の上界レグレットバウンドを導出する。

ABSTRACT

A fundamental question for companies with large amount of logged data is: How to use such logged data together with incoming streaming data to make good decisions? Many companies currently make decisions via online A/B tests, but wrong decisions during testing hurt users' experiences and cause irreversible damage. A typical alternative is offline causal inference, which analyzes logged data alone to make decisions. However, these decisions are not adaptive to the new incoming data, and so a wrong decision will continuously hurt users' experiences. To overcome the aforementioned limitations, we propose a framework to unify offline causal inference algorithms (e.g., weighting, matching) and online learning algorithms (e.g., UCB, LinUCB). We propose novel algorithms and derive bounds on the decision accuracy via the notion of "regret". We derive the first upper regret bound for forest-based online bandit algorithms. Experiments on two real datasets show that our algorithms outperform other algorithms that use only logged data or online feedbacks, or algorithms that do not use the data properly.

研究の動機と目的

• Webアプリケーションにおける意思決定に、オフラインのログ記録データやオンラインA/Bテストに依存するという限界を克服すること。
• 履歴データからの因果推論と適応的オンライン学習を統合することで、オンライン意思決定におけるレグレットを低減すること。
• ログ記録データを用いてオンラインバンディットの探索を初期化することで、学習効率と意思決定の正確性を向上させるハイブリッドアルゴリズムの開発。
• オフライン因果推論を強化したオンラインバンディットアルゴリズムの理論的レグレットバウンドを導出すること、特にフォレストベースの手法を対象とする。

提案手法

• オフライン因果推論（例：重み付け、マッチング）とオンラインバンディットアルゴリズム（例：UCB、LinUCB）を統合し、方針意思決定を支援する。
• ログ記録データから得られる、ユーザー種別の結果推定値の重み付き平均を、オンライン学習の初期化または正則化に用いる。
• LinUCBにおける信頼区間へのログ記録データの影響を分析することで、累積レグレットの上界を導出する。
• 主な技術的貢献として、マトリックス行列式と固有値解析を用いて、フォレストベースのオンラインバンディットアルゴリズムに対する新たなレグレットバウンドを導出する。
• 設計行列の行列式の成長を、オンラインデータのスケールとオフラインデータ共分散行列の最小固有値の比を含む項によって制限する。
• βt(δ)やδ = 1/Tといったパラメータを設定することで、高確率での信頼区間を保証し、探索と活用のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 オフライン因果推論は、データ駆動型意思決定システムにおけるオンラインバンディット学習のサンプル効率を向上させることができるか？
• RQ2 オフラインログ記録データをオンラインバンディットアルゴリズムに活用する場合、理論的レグレットバウンドはどのように定式化されるか？
• RQ3 有限のログ記録サンプルからの因果推論統合は、純粋なオンラインまたはオフライン手法と比較して、長期的な意思決定の正確性にどのように影響するか？
• RQ4 統合フレームワークは、履歴ログデータとリアルタイムフィードバックを活用することで、レグレットを低減できるか？

主な発見

• 実際の2つのデータセットを用いた実験により、本手法はログ記録データのみ、またはオンラインフィードバックのみを使用する場合よりも低いレグレットを達成している。
• フォレストベースのオンラインバンディットアルゴリズムに対する最初の上界レグレットバウンドが導出され、ハイブリッド設定におけるその使用に対する理論的根拠が提供された。
• レグレットバウンドはO(log(1 + TL²/λ_min(V_N)))のスケーリングを示し、より情報量の多いオフラインデータ（λ_minが大きい）は収束を早める。
• 特にδ_a - δ_a* > 0の場合に、オフラインデータからの因果推定を組み込むことで、非最適な行動が選択される回数が削減される。
• 期待累積レグレットはO(d² log T / Δ_min × log(1 + TL²/λ_min(V_N)))で有界であり、サンプル効率の向上が示された。