[論文レビュー] Study of a bias in the offline evaluation of a recommendation algorithm

Arnaud De Myttenaere, Boris Golden+2 more|arXiv (Cornell University)|Nov 4, 2015

Recommender Systems and Techniques被引用数 3

ひとこと要約

この論文は、過去の推薦が履歴データに影響を与えることによって生じる推薦アルゴリズムのオフライン評価におけるバイアスを特定する。本稿では、インスタンス重み付けを用いた重み付きオフライン評価手法を提案し、このバイアスを是正する。実世界のViadeoデータを用いた実験で、特に定数型および協調フィルタリングアルゴリズムにおいて評価誤差が顕著に低減されることを示したが、キャンペーンに伴う構造的変化のため、スコアの完全な安定化には至らなかった。

ABSTRACT

Recommendation systems have been integrated into the majority of large online systems to filter and rank information according to user profiles. It thus influences the way users interact with the system and, as a consequence, bias the evaluation of the performance of a recommendation algorithm computed using historical data (via offline evaluation). This paper describes this bias and discuss the relevance of a weighted offline evaluation to reduce this bias for different classes of recommendation algorithms.

研究の動機と目的

• 過去の推薦が履歴データに影響を与えることによって生じる推薦アルゴリズムのオフライン評価における体系的バイアスを特定・分析すること。
• このバイアスに対する是正法としてのインスタンス重み付けの有効性を、オフライン評価において評価すること。
• 重み付き評価が、単純（定数型）および複雑（協調フィルタリング）な推薦アルゴリズムの性能推定の正確性を向上させるかどうかを評価すること。
• バイアスの二重性を調査すること：一つはアイテム選択確率の変化に起因するもので、もう一つはユーザ-アイテム相互作用グラフの構造的変化に起因するものである。
• Viadeoのプロフェッショナルソーシャルネットワークから得た実世界データにおける重み付け手法の実用的妥当性を示すこと。

提案手法

• 本稿では、基準分布における尤度に基づいて、ユーザ-アイテムペアに個別的な重みを割り当てる重み付きオフライン評価フレームワークを導入し、共変量シフトを是正する。
• 評価を、トレーニングデータと評価データの分布差を最小化するように最適化された重みを用いた予測精度の重み付き平均として定式化する。
• 確率的モデルを用いて、各アイテムが評価のために選択される確率を推定し、過去の推薦キャンペーンの影響を補正する。
• 協調フィルタリングの文脈では、コサイン類似度およびナイーブCFアルゴリズムの両方に対して、同じ最適化手順を用いて重み付けスキームを適用する。
• 重みは時間経過に伴い反復的に計算され、最適化された重み数（p）が再キャリブレーションの度合いを制御する。
• 本手法は、Viadeoデータの201日間の期間、およびt=330とt=430における2回の主要な推薦キャンペーンを含む期間で検証された。

実験結果

リサーチクエスチョン

• RQ1 履歴データに過去の推薦が存在することによって、推薦アルゴリズムのオフライン評価がどの程度バイアスを受けるか？
• RQ2 インスタンス重み付けが、定数型推薦アルゴリズムのオフライン評価におけるバイアスをどの程度低減できるか？
• RQ3 同じ重み付け戦略が、より複雑な協調フィルタリングアルゴリズムのバイアスに対しても効果的に低減できるか？
• RQ4 選択確率のシフトとユーザ-アイテムグラフの構造的変化が、全体の評価バイアスに及ぼす相対的寄与度は何か？
• RQ5 最適化された重み数（p）が是正された評価の性能および安定性に与える影響は何か？

主な発見

• Viadeoの2回の推薦キャンペーン（t=330およびt=430）の後、オフライン評価スコアが著しく低下した。これは、過去の推薦による顕著なバイアスを示している。
• 提案された重み付け手法は、オフライン評価におけるバイアスを効果的に低減した。pの値が大きい（最適化された重みがより多い）ほど、是正効果が顕著に高まった。
• 定数型推薦アルゴリズムでは、重み付き評価によりキャンペーン後のスコアが安定化し、選択バイアスの強い是正が確認された。
• 協調フィルタリングアルゴリズムでは、選択確率に基づくバイアスは低減されたが、ユーザ-アイテムグラフの構造的変化のため、スコアの完全な安定化には至らなかった。
• バイアスは二重の要因に起因していることが判明した：一つはアイテム選択確率の変化、もう一つはキャンペーンに起因するユーザ-アイテム接続の増加に起因するグラフ密度の上昇。
• 結果から、インスタンス重み付けが、ランダムなデータ収集が不可能な状況においても、実用的かつ効果的な評価バイアス低減手法であることが確認された。