[論文レビュー] Exploration vs. Exploitation in the Information Filtering Problem

Xiaoting Zhao, Peter I. Frazier|arXiv (Cornell University)|Jul 30, 2014

Advanced Bandit Algorithms Research参考文献 42被引用数 3

ひとこと要約

本稿では、限られたユーザーフィードバックがあるコールドスタート状況においても、探索と活用の最適なバランスをとるベイジアン逐次意思決定モデルを提案する。問題を扱いやすい二腕バンディット部分問題に分解することで、不確実性が高い場合には追加の関連アイテムを転送する探索を実行し、フィードバックが蓄積されるに従い探索が減少する。

ABSTRACT

We consider information filtering, in which we face a stream of items too voluminous to process by hand (e.g., scientific articles, blog posts, emails), and must rely on a computer system to automatically filter out irrelevant items. Such systems face the exploration vs. exploitation tradeoff, in which it may be beneficial to present an item despite a low probability of relevance, just to learn about future items with similar content. We present a Bayesian sequential decision-making model of this problem, show how it may be solved to optimality using a decomposition to a collection of two-armed bandit problems, and show structural results for the optimal policy. We show that the resulting method is especially useful when facing the cold start problem, i.e., when filtering items for new users without a long history of past interactions. We then present an application of this information filtering method to a historical dataset from the arXiv.org repository of scientific articles.

研究の動機と目的

• 新しいユーザーや十分な歴史的相互作用データが得られない状況における情報フィルタリングのコールドスタート問題に対処すること。
• ベイジアン統計と動的計画法を用いて、情報フィルタリングにおける探索と活用のトレードオフを確率的制御問題としてモデル化すること。
• 不確実なアイテムからの学習（探索）と、高い信頼性を持つ関連アイテムの転送（活用）を最適にバランスさせる、効率的かつ最適な方策を開発すること。
• 情報フィルタリングの背後にある部分的に観測可能なマルコフ決定過程（POMDP）に対するスケーラブルな解決策を提供し、次元の呪いを克服すること。
• arXiv.orgの実世界データを用いて、提案手法の有効性を実証し、ベンチマーク方策よりも顕著な向上を示すこと。

提案手法

• アイテムの関連性に関する信念状態をパrameter化したベイジアン逐次意思決定モデルとして、情報フィルタリング問題を定式化し、ベータ分布を用いる。
• 高次元のPOMDPを、より小さな独立した二腕バンディット問題の集合に分解する——一方は既知の腕（破棄）で、他方は未知のベルヌーイ腕（転送）であり、状態遷移はフィードバックに基づく。
• 動的計画法を用いて各二腕バンディット部分問題を最適に解き、ギッティンズ指数の既知の結果を活用する。
• 計画ホライゾンが延長されるに従い収束する価値関数の上限と下限を導出する。これにより、最適方策への収束が保証される。
• 事後平均関連性と割引率γxに依存する再帰的価値関数更新を用いて、最適方策を実装する。
• arXiv.orgの実世界データセットに本手法を適用し、観測済みアイテム数に応じて探索を動的に調整する。

実験結果

リサーチクエスチョン

• RQ1 歴史的データが不足する状況において、情報フィルタリングシステムは、不確実なアイテムを転送して学ぶ（探索）ことと、高い信頼性を持つ関連アイテムを転送すること（活用）とを、どのように最適にバランスさせるか？
• RQ2 フィードバックが蓄積されるに従い、情報フィルタリングの最適方策が示す構造的性質、特に探索の強度の変化は何か？
• RQ3 フルPOMDP定式化における次元の呪いを克服しても、最適方策は効率的に計算可能か？
• RQ4 コールドスタート状況において、提案手法は、短絡的戦略やトンプソンサンプリングと比較して、累積報酬（関連アイテムの転送数）の観点でどのように差をつけるか？
• RQ5 ユーザの関連性が初期段階で不明な状況において、探索の影響は長期的なフィルタリングパフォーマンスにどのように及ぶか？

主な発見

• 最適方策は、短絡的戦略が転送するすべてのアイテムを転送し、さらにその上に、短絡的戦略が破棄する可能性のある追加のアイテムも転送する。これは、フィードバックが少ない状況で顕著に現れる。
• 探索は、観測済みアイテム数が少ない場合に最も活発的であり、観測アイテム数が増えるに従い徐々に減少し、無限に近いフィードバック量に達すると完全に消失する。
• 計画ホライゾンMが無限に近づくに従い、価値関数の上限と下限が真の価値関数に収束する。上限と下限の差は、γx^M / (1 - γx) のように幾何級数的に減少する。
• 本手法は、既知のギッティンズ指数手法で解ける二腕バンディット問題への分解により、最適な性能を達成し、計算の効率性を実現する。
• arXiv.orgでの実証結果から、最適な探索戦略が、純粋な活用戦略およびトンプソンサンプリングを著しく上回ることを示している。
• 最適方策の探索意欲は、コールドスタート状況で最も高く、関連性推定の信頼性が高まるに従い体系的に減少する。これは、不確実性に応じた原理的適応を示している。