[論文レビュー] Online Learning to Rank with List-level Feedback for Image Filtering

Chang Li, Artem Grotov+2 more|arXiv (Cornell University)|Dec 12, 2018

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 4

ひとこと要約

本稿では、個々のアイテムではなくリスト単位のフィードバックのみを用いて画像フィルタリングのためのオンライン学習ランキング手法—PGLearnとRegLearn—を提案する。RegLearnは、リストレベルのフィードバックを回帰によって予測し、関連スコアを逆伝播することで、特にリストサイズが大きい場合にPGLearnを上回り、理想的なフィードバックや低ノイズフィードバックから割引重みを効果的に学習する。

ABSTRACT

Online learning to rank (OLTR) via implicit feedback has been extensively studied for document retrieval in cases where the feedback is available at the level of individual items. To learn from item-level feedback, the current algorithms require certain assumptions about user behavior. In this paper, we study a more general setup: OLTR with list-level feedback, where the feedback is provided only at the level of an entire ranked list. We propose two methods that allow online learning to rank in this setup. The first method, PGLearn, uses a ranking model to generate policies and optimizes it online using policy gradients. The second method, RegLearn, learns to combine individual document relevance scores by directly predicting the observed list-level feedback through regression. We evaluate the proposed methods on the image filtering task, in which deep neural networks (DNNs) are used to rank images in response to a set of standing queries. We show that PGLearn does not perform well in OLTR with list-level feedback. RegLearn, instead, shows good performance in both online and offline metrics.

研究の動機と目的

• 個々のアイテムのフィードバックではなくリストレベルのフィードバックしか入手できない状況において、オンライン学習ランキング（OLTR）を画像フィルタリングに適用する課題に対処すること。
• 従来のOLTRで一般的に用いられるテキスト特徴量に依存せず、ピクセルベースの特徴量を用いて深層ニューラルネットワークで学習可能な手法を開発すること。
• 特にフィードバックのノイズが多い、もしくはユーザーの相互作用データが限られる状況において、リストレベルのフィードバック下でのOLTR手法の有効性を評価すること。
• オンラインおよびオフラインの指標において、ポリシーグラデントベース（PGLearn）と回帰ベース（RegLearn）のアプローチの性能を比較すること。

提案手法

• PGLearnはポリシーグラデントアプローチを採用し、順序付けられたリストをアクションとしてモデル化し、強化学習を用いてリストレベルのフィードバックに基づいて順序付けポリシーを最適化する。
• RegLearnは、個々の文書の関連スコアを回帰ヘッドで統合し、リストレベルのフィードバック（例：クリックスルーレートやnDCG）を直接予測する。
• 両手法とも、画像特徴量を処理し、関連スコアを生成するための深層ニューラルネットワークをベースとする順序付けモデルを用いる。
• RegLearnは、予測されたリストレベルのフィードバックと観測されたフィードバックの差分に基づき、逆伝播を用いて順序付けモデルを更新する。
• 手法の評価には、異なる設定（理想状態：nDCG@k、ノイズあり：CTR@k）におけるシミュレーテッドフィードバックを用いたMSCOCOデータセットが使用された。
• オンライン学習中の探索と活用のバランスを取るために、ε=0.1のε-greedy探索戦略が用いられた。

実験結果

リサーチクエスチョン

• RQ1 個々のアイテムのフィードバックではなくリストレベルでのみフィードバックが得られる状況において、オンライン学習ランキングが画像フィルタリングに効果的に適用可能か？
• RQ2 リストサイズが大きくなるに従って、PGLearnとRegLearnの性能はどのように比較されるか？
• RQ3 RegLearnは、リストレベルのフィードバックから正しい割引重み（例：nDCG用）や検閲確率（例：クリックモデル用）を学習できるか？
• RQ4 フィードバックのノイズが、RegLearnによる信頼性のある順序付けモデルの学習能力に与える影響は何か？
• RQ5 ユーザー行動に関する事前知識（例：検閲確率）を活用することで、RegLearnの性能は向上するか？

主な発見

• ε=0.1のRegLearnは、完璧な設定と場所特定クリック設定の下で、それぞれ平均nDCG@5が0.67±0.01および0.66±0.00を達成し、優れたオンライン性能を示した。
• PGLearnはリストサイズが2を超えると著しく性能を発揮できず、ポリシーグラデント最適化を目的として設計されていながらも、大きなリストには一般化できなかった。
• 理想状態のnDCGフィードバック下では、RegLearnは真値に近い割引重み（ユークリッド距離0.079）を学習し、順序付け品質の正確なモデリングが可能であった。
• ノイズのあるクリックフィードバック下では、RegLearnの性能は低下した：真値とのユークリッド距離は、完璧な設定で0.231、場所特定設定で0.372であり、最もノイズの強い（娯楽的）設定では完全に失敗した。
• 検閲確率に関する事前知識を活用するOracleLearnは、一貫して性能を向上させたことから、ユーザー行動の事前知識を組み込むことで学習が向上することが示唆された。
• 純粋な探索（ε=1）ではRegLearnは効果的に学習できず、バランスの取れた探索（ε=0.1）が成功した学習に不可欠であることが示された。