[論文レビュー] Online Learning with Preference Feedback

Pannagadatta K. Shivaswamy, Thorsten Joachims|arXiv (Cornell University)|Nov 3, 2011

Advanced Bandit Algorithms Research参考文献 9被引用数 11

ひとこと要約

本稿では、ユーザーの好み（例：クリックや選択）から学ぶオンライン学習フレームワークを導入する。アルゴリズムは明示的な報酬ではなく、好みの比較に基づいてモデル重みを更新する Preference Perceptron を提案し、$ \alpha $-情報的フィードバック下で $ O(1/\sqrt{T}) $ のレグレットバウンドを達成し、ウェブ検索ランク付けタスクにおいて優れた性能を示した。

ABSTRACT

We propose a new online learning model for learning with preference feedback. The model is especially suited for applications like web search and recommender systems, where preference data is readily available from implicit user feedback (e.g. clicks). In particular, at each time step a potentially structured object (e.g. a ranking) is presented to the user in response to a context (e.g. query), providing him or her with some unobserved amount of utility. As feedback the algorithm receives an improved object that would have provided higher utility. We propose a learning algorithm with provable regret bounds for this online learning setting and demonstrate its effectiveness on a web-search application. The new learning model also applies to many other interactive learning problems and admits several interesting extensions.

研究の動機と目的

• ウェブ検索やレコメンデーションエンジンのようなインタラクティブシステムにおける、暗黙的ユーザーフィードバックからの学習の課題に対処すること。
• 完全な効用信号ではなく、好みの比較としてのフィードバックであるオンライン学習をモデル化すること。
• 現実的なフィードバック仮定の下で理論的レグレット保証を持つアルゴリズムを開発すること。
• 実世界のウェブ検索ランク付けタスクにおいて、好みベースのフィードバックを用いて手法を実証的に検証すること。

提案手法

• アルゴリズムは重みベクトル $ \mathbf{w}_t $ を維持し、予測効用 $ \mathbf{w}_t^\top \phi(\mathbf{x}_t, \mathbf{y}) $ が最大となる行動 $ \mathbf{y}_t $ を選択する。
• 好まれたアイテム $ \mathbf{\bar{y}}_t $ を受信した後、モデルは $ \mathbf{w}_{t+1} = \mathbf{w}_t + \phi(\mathbf{x}_t, \mathbf{\bar{y}}_t) - \phi(\mathbf{x}_t, \mathbf{y}_t) $ で更新する。
• 効用関数は線形関数 $ U(\mathbf{x}, \mathbf{y}) = \mathbf{w}^{*\top} \phi(\mathbf{x}, \mathbf{y}) $ と仮定し、特徴量のノルムが $ \|\phi(\mathbf{x}, \mathbf{y})\| \leq R $ で有界であると仮定する。
• フィードバックは $ \alpha $-情報的とモデル化され、フィードバック効用が最適効用差の割合 $ \alpha $ の範囲内にあり、ノイズは $ \xi_t $ で捉えられる。
• 合成フィードバック（線形効用モデルに基づく）とウェブ検索データセットからの実際の関連性ラベルの両方を用いて評価を行う。
• レグレットは最適効用と提示された効用の平均差として測定され、補助指標として DCG* レグレットが用いられる。

実験結果

リサーチクエスチョン

• RQ1 クリックなどの好みフィードバックのみが利用可能な状況において、オンライン学習を効果的に適応する方法は何か？
• RQ2 2項比較フィードバックのみで、オンライン好み学習においてサブラインハーレグレットを達成できる学習アルゴリズムは存在するか？
• RQ3 フィードバックの質（$ \alpha $ で測定）は、学習性能とレグレットバウンドにどのように影響するか？
• RQ4 標準的手法（例：ランク付けSVM）と比較して、提案された Preference Perceptron は、レグレットと計算コストの両面で優位性を示せるか？

主な発見

• Preference Perceptron は、$ \text{REGRET}_T \leq \frac{1}{\alpha T} \sum_{t=1}^T \xi_t + \frac{2R\|\mathbf{w}^*\|}{\alpha \sqrt{T}} $ のレグレットバウンドを達成し、ノイズのないフィードバック下では $ O(1/\sqrt{T}) $ のレートでレグレットがゼロに収束する。
• $ \alpha $-情報的フィードバック実験では、$ \alpha = 1.0 $ の場合のレグレットは $ \alpha = 0.1 $ の場合よりも顕著に低かったが、一部のケースで想定を上回る強いフィードバックが観測されたため、性能差は予想ほど大きくはなかった。
• 実際の関連性ラベルをフィードバックとして用いた場合、定期的に再訓練されたランク付けSVMという強力なベースラインよりも、平均レグレットが低かった。
• Preference Perceptron は約30分で実行されたのに対し、SVMベースラインは約20時間かかったため、計算コストにおける顕著な優位性が示された。
• 実関連性フィードバック下ではDCG*レグレットがゼロでない値に収束した。これは、人間の関連性判断に内在するノイズと非線形性を反映している。