[論文レビュー] Fifty Shades of Ratings: How to Benefit from a Negative Feedback in Top-N Recommendations Tasks

Evgeny Frolov, Ivan Oseledets|arXiv (Cornell University)|Jul 14, 2016

Tensor decomposition and applications参考文献 20被引用数 3

ひとこと要約

本稿では、ユーザーの評価を基数的 utility ではなく三値のカテゴリカル変数（肯定的、中立的、否定的）として扱うことで、純粋な否定的フィードバックからの有効な学習を可能にするテンソルベースの協調フィルタリングモデル CoFFee を提案する。三階テンソル因子分解と高階のフォールディングイン手法を用いることで、特に肯定的フィードバックが全くないコールドスタート状況においても、最先端のトップ-N推薦性能を達成し、標準的な指標では見えない推薦品質のバイアスを明らかにする。

ABSTRACT

Conventional collaborative filtering techniques treat a top-n recommendations problem as a task of generating a list of the most relevant items. This formulation, however, disregards an opposite - avoiding recommendations with completely irrelevant items. Due to that bias, standard algorithms, as well as commonly used evaluation metrics, become insensitive to negative feedback. In order to resolve this problem we propose to treat user feedback as a categorical variable and model it with users and items in a ternary way. We employ a third-order tensor factorization technique and implement a higher order folding-in method to support online recommendations. The method is equally sensitive to entire spectrum of user ratings and is able to accurately predict relevant items even from a negative only feedback. Our method may partially eliminate the need for complicated rating elicitation process as it provides means for personalized recommendations from the very beginning of an interaction with a recommender system. We also propose a modification of standard metrics which helps to reveal unwanted biases and account for sensitivity to a negative feedback. Our model achieves state-of-the-art quality in standard recommendation tasks while significantly outperforming other methods in the cold-start "no-positive-feedback" scenarios.

研究の動機と目的

• 従来の協調フィルタリングが否定的フィードバックを適切に扱えないという限界に対処し、関連のない推薦やユーザー参加度の低下を回避すること。
• 標準的な評価指標（例：nDCG）が関連のないアイテムが上位にランク付けされた場合に性能を正しく検出できないという感度の欠如に対処し、特にコールドスタートや否定的フィードバック状況での性能低下を隠蔽しないこと。
• 肯定的フィードバックが存在しない状況でも、ユーザーとの最初の相互作用からすぐに優れた性能を発揮する統合型推薦モデルの開発。
• 否定的フィードバックへの感受性を捉え、推薦品質のバイアスを明らかにする修正評価指標（nDCL）の導入。

提案手法

• 評価を基数的または順序的 utility ではなく、肯定的、中立的、否定的の三段階のカテゴリカル変数としてモデル化する。
• 三階テンソル因子分解を用いて、ユーザー、アイテム、フィードバックカテゴリを同時にモデル化し、あらゆるタイプのフィードバックにおける複雑なユーザー・アイテムの好みを捉える。
• 再トレーニングを伴わずに効率的なオンライン推論とパーソナライズド推薦を可能にする高階のフォールディングイン技術を実装する。
• 関連のないアイテムのランク付けをペナルティとして課す修正評価指標 nDCL（正規化された割引累積損失）を導入し、否定的フィードバックへの感受性を明らかにする。
• 正確な評価値と評価の肯定性の両方の予測タスクを用いてモデルをキャリブレーションし、その予測能力を検証する。
• コールドスタートと標準の推薦シナリオの両方をサポートする統一フレームワークを採用し、別個の評価値収集手順の必要性を排除する。

実験結果

リサーチクエスチョン

• RQ1 肯定的評価が一切不要な状況でも、否定的フィードバックのみを用いて高品質な推薦を達成できるか？
• RQ2 nDCG のような標準的評価指標は、特にコールドスタート状況で関連のないアイテムが上位にランク付けされた場合に、性能の悪さを正しく検出できないのはなぜか？
• RQ3 フィードバックをカテゴリカル変数として扱うテンソルベースのモデルは、肯定的および否定的フィードバックの両状況で、従来の行列因子分解をどれほど上回るか？
• RQ4 nDCL のような修正評価指標は、否定的フィードバックに関連する推薦システムのバイアスを効果的に明らかにできるか？

主な発見

• CoFFee モデルは、nDCG や nDCL を含むほとんどの指標で、SVD や WRMF よりも最先端の性能を達成し、標準的なトップ-N推薦タスクで優れた結果を示した。
• 肯定的フィードバックが全くないコールドスタート状況では、CoFFee は他のモデルを著しく上回り、最初の相互作用からもパーソナライズドな推薦を生成できる能力を示した。
• Movielens 1M データセットにおいて、正確な評価値を 47% の確率で正しく予測し、評価の肯定性を 48% の確率で正しく予測し、RMSE スコアは 0.77 を達成した。
• 標準的指標（例：nDCG）は、関連のないアイテムが上位にランク付けされた場合に性能の悪さを検出できない。CoFFee の nDCL 指標は、SVD や WRMF モデルが CoFFee よりも関連のないアイテムをより高くランク付けしていることを明らかにした。
• 例として『スカーファ』ではなく『トイ・ストーリー』を推薦するなど、否定的フィードバックに基づいて『逆転』の特徴（例：コメディをサスペンスではなく）を推薦する能力を有している。
• ユーザーが否定的フィードバックのみを提供する状況でもモデルの性能が安定しており、否定的フィードバックのみで高品質かつパーソナライズドな推薦が可能であることを実証した。