[論文レビュー] Recommendations as Treatments: Debiasing Learning and Evaluation

Tobias Schnabel, Adith Swaminathan+3 more|arXiv (Cornell University)|Feb 17, 2016

Advanced Bandit Algorithms Research参考文献 45被引用数 143

ひとこと要約

本論文はMNARデータ下で推奨を因果介入として扱い、学習と評価のバイアスを取り除く方法として傾向スコア付き推定量と、理論的保証と頑健な傾向推定を備えたスケーラブルな行列因子分解アプローチを提案する。

ABSTRACT

Most data for evaluating and training recommender systems is subject to selection biases, either through self-selection by the users or through the actions of the recommendation system itself. In this paper, we provide a principled approach to handling selection biases, adapting models and estimation techniques from causal inference. The approach leads to unbiased performance estimators despite biased data, and to a matrix factorization method that provides substantially improved prediction performance on real-world data. We theoretically and empirically characterize the robustness of the approach, finding that it is highly practical and scalable.

研究の動機と目的

• 推奨を因果推論の介入として位置づけ、推奨データにおける選択バイアスを解消する。
• MNAR条件下で一般的な指標（MAE、MSE、DCGなど）の公正な性能推定量を開発する。
• _biasを含む学習のためのERMフレームワークを提案し、スケーラブルな行列因子分解法を導出する。
• 観測可能性の下での傾向推定法とロバスト性を検討する。

提案手法

• 傾向スコア付け（IPS）と完全ケースのアイデアを用いて、MAE、MSE、DCGおよび関連指標の公正な推定量を作成する。
• 傾向に基づく経験的リスク最小化（ERM）目的関数を定式化し、一般化境界を導出する。
• 各エントリの重みが1/P_{u,i}となる、標準的な不完全MFに似た傾向スコア付き行列因子分解目的を導出する。
• IPSの分散を自己正規化で低減するSNIPSを導入し、小さなバイアスと引き換えに分散を低下させる。
• 実験設定（既知のP）と観測設定（推定P）を区別し、傾向の誤指定に対する頑健性を分析する。
• Naive Bayesとロジスティック回帰（ユーザー/アイテムバイアス付き）を用いた傾向推定法を提供する。

実験結果

リサーチクエスチョン

• RQ1 推奨システムの選択バイアスは評価と学習をどう歪めるのか，因果推論技法は公正な推定量をもたらすのか。
• RQ2 傾向スコアに基づく推定量はMNARデータ下でMAE、MSE、DCGなどの一般的な指標の公正な評価を可能にするのか。
• RQ3 選択バイアスを考慮しつつ性能を維持するスケーラブルな行列因子分解法を開発できるのか。
• RQ4 観測設定での傾向推定はどう行い、誤指定に対してどれくらい頑健か。

主な発見

行	MAE 真値	MAE IPS	MAE SNIPS	MAE Naive	DCG@50 真値	DCG@50 IPS	DCG@50 SNIPS	DCG@50 Naive
REC_ONES	0.102	0.102 ± 0.007	0.102 ± 0.007	0.011 ± 0.001	30.76	30.64 ± 0.75	30.66 ± 0.74	153.07 ± 2.13
REC_FOURS	0.026	0.026 ± 0.000	0.026 ± 0.000	0.173 ± 0.001	52.00	51.98 ± 0.41	52.08 ± 0.58	313.48 ± 2.36
ROTATE	2.579	2.581 ± 0.031	2.579 ± 0.012	1.168 ± 0.003	12.90	13.00 ± 0.85	12.99 ± 0.83	1.38 ± 0.09
SKEWED	1.306	1.304 ± 0.012	1.304 ± 0.009	0.912 ± 0.002	24.59	24.55 ± 0.92	24.58 ± 0.93	54.87 ± 1.03
COARSENED	1.320	1.314 ± 0.015	1.318 ± 0.005	0.387 ± 0.002	46.45	46.45 ± 0.53	46.44 ± 0.70	293.27 ± 1.99

• IPSとSNIPSは、MNAR下でバイアスを持つ可能性のあるナイーブ推定量と比べて、MAEとDCGの公正な（IPS）または低分散の公正推定量（SNIPS）を提供する。
• 傾向スコア付きMF（MF-IPS）は、半合成データにおけるMNARの程度の変化に対して、重み付けなしのMFよりも評価誤差（MSE）を改善する。
• 傾向スコア付きの経験的リスク最小化は有限の仮説空間に対して一般化境界を与える。
• 推定された傾向は、たとえ不完全でも、公正な評価と学習性能をもたらすことが多く、ナイーブなアプローチよりも優れている。
• 最先端の結合尤度MNAR法と比べて、提案手法はよりスケーラブルで実世界データセット（Yahoo! R3およびCoat Shopping）で競合する。
• 本論文はMNAR評価の実装とベンチマークデータセットを提供する。