[論文レビュー] Online Structured Prediction via Coactive Learning

Pannagadatta K. Shivaswamy, Thorsten Joachims|arXiv (Cornell University)|May 18, 2012

Advanced Bandit Algorithms Research参考文献 20被引用数 40

ひとこと要約

本稿では、システムが予測の改善を示すインクリメンタルなユーザーフィードバック（基数的効用値ではなく）から学習する、Coactive Learning と呼ばれる新しいオンライン構造予測フレームワークを紹介する。著者らは、O(1/√T)のレグレットバウンドを達成する効率的なアルゴリズムを提案し、ウェブ検索および映画推薦タスクで実証された。ノイズが多いか、最適でないフィードバックであっても、優れた性能を示した。

ABSTRACT

We propose Coactive Learning as a model of interaction between a learning system and a human user, where both have the common goal of providing results of maximum utility to the user. At each step, the system (e.g. search engine) receives a context (e.g. query) and predicts an object (e.g. ranking). The user responds by correcting the system if necessary, providing a slightly improved -- but not necessarily optimal -- object as feedback. We argue that such feedback can often be inferred from observable user behavior, for example, from clicks in web-search. Evaluating predictions by their cardinal utility to the user, we propose efficient learning algorithms that have ${\cal O}(\frac{1}{\sqrt{T}})$ average regret, even though the learning algorithm never observes cardinal utility values as in conventional online learning. We demonstrate the applicability of our model and learning algorithms on a movie recommendation task, as well as ranking for web-search.

研究の動機と目的

• ユーザーが最適な出力や効用値のアノテーションではなく、改善された予測を提供する新しい学習モデル、Coactive Learning の形式化。
• 基数的効用値が観測されないオンライン設定において、構造的出力を学ぶ課題に対処すること。
• このフィードバックモデル下で、理論的レグレットバウンドを有する効率的な学習アルゴリズムの開発。
• ウェブ検索における実際のユーザ行動を用いた、モデルの実現可能性の検証と、実用的推薦タスクにおける性能評価。

提案手法

• Coactive Learning モデルは、ユーザーがシステム出力 ${\bf \bar{y}}_t$ を提供し、$U({\bf x}_t, {\bf \bar{y}}_t) > U({\bf x}_t, {\bf y}_t)$ を満たすが、最適ではない場合を想定する。
• 学習アルゴリズムは重みベクトル ${\bf w}_t$ を維持し、最良の予測に対するレグレットを最小化する Preference-based Perceptron ルールで更新する。
• 線形効用モデルでは、マージンに基づく更新ルールを用い、フィードバックの効用と予測出力の差分に基づいて重みを調整する。
• 凸コスト関数の場合、オンライン凸最適化に拡張され、射影勾配更新が用いられ、$\mathcal{O}(1/\sqrt{T})$ のレグレットを保証する。
• モデルは、ユーザーのフィードバックが、可能な出力の部分集合上で有界で合理的な探索から生じると仮定し、クリックや選択変更といった現実世界の行動を反映する。
• 実験的評価では、MovieLens データセットとウェブ検索ログを用い、フィードバック品質やノイズの変動下で、Preference Perceptron とベースラインの順序付け SVM を比較した。

実験結果

リサーチクエスチョン

• RQ1 クリックや好ましい代替出力といった、非最適でインクリメンタルなユーザーフィードバック（基数的効用値を観測しない状況）を、オンライン構造予測に効果的に活用できるか？
• RQ2 基数的効用値が観測されない状況で、僅かな好みのフィードバックのみが利用可能なオンライン構造予測において、理論的レグレットバウンドはどの程度達成可能か？
• RQ3 実世界の推薦および検索タスクにおいて、フィードバックの品質やノイズの変動に伴い、Coactive Learning アルゴリズムの性能はどのように変化するか？
• RQ4 Coactive Learning モデルは、映画推薦のようなアトミックな予測タスクと、順序付けタスクの両方に対して効果的に適用可能か？
• RQ5 再訓練された SVM といった従来のオンライン学習ベースラインと比較して、Coactive Learning のアプローチは、レグレットと計算コストの両面で優位性を示せるか？

主な発見

• Preference Perceptron アルゴリズムは、線形効用モデルおよび凸コスト関数の両設定で $\mathcal{O}(1/\sqrt{T})$ のレグレットを達成し、下界とも一致するため、理論的最適性が確認された。
• 映画推薦タスクでは、厳密に $\alpha$-情報的フィードバック下で、レグレットがゼロに近づき、$\alpha$ 値が高くなるほど収束が速くなった。
• 実際のユーザーレーティングに基づくノイズのあるフィードバック下でも、Preference Perceptron は再訓練された順序付け SVM よりも顕著に低いレグレットを達成し、計算コストはわずかに抑えられた。
• ウェブ検索の順序付けおよび映画推薦の両タスクにおいて、モデルは強力な実験的性能を示し、暗黙のフィードバックを持つ実世界のシステムへの適用可能性を検証した。
• クリックなどの観察可能な行動から得られるユーザーフィードバックが、Coactive Learning モデル下で有効かつ妥当な信号であることが、ウェブ検索ユーザースタディにより確認された。