[論文レビュー] Human Interaction with Recommendation Systems

Sven Schmit, Carlos Riquelme|arXiv (Cornell University)|Mar 1, 2017

Auction Theory and Applications被引用数 15

ひとこと要約

この論文は、推薦システムにおけるユーザー-アルゴリズム相互作用の動的モデルを提案し、フィードバックループにより選択バイアスと線形レグレットが生じることを示している。ユーザーの多様な好みがある場合、一貫性があり効率的な推定器が自然に出現し、インcentiveなしに『無料の』探索が可能になることが証明されている。

ABSTRACT

Many recommendation algorithms rely on user data to generate recommendations. However, these recommendations also affect the data obtained from future users. This work aims to understand the effects of this dynamic interaction. We propose a simple model where users with heterogeneous preferences arrive over time. Based on this model, we prove that naive estimators, i.e. those which ignore this feedback loop, are not consistent. We show that consistent estimators are efficient in the presence of myopic agents. Our results are validated using extensive simulations.

研究の動機と目的

• ユーザーが推薦システムと相互作用することで生じるフィードバックループが、データにバイアスを与え、推定器の一貫性に与える影響を理解すること。
• 短視眼的で多様な好みを持つユーザーが、アルゴリズムの提案と個人の好みを組み合わせて意思決定する状況下での推薦アルゴリズムの効率性を分析すること。
• 多様なユーザーの好みのおかげで、明示的な探索インcentiveなしに、偏りのない推定器が対数的レグレットを達成できることを示すこと。
• 特徴ベースおよび低ランク行列分解モデルを用いたシミュレーションにより、理論的発見を検証すること。
• 標準的な推定器が動的でユーザーに影響を受ける環境で果たす限界を強調し、一貫性のある学習のためのフレームワークを提案すること。

提案手法

• ユーザーが多様な個人的好みを持つ動的モデルを提案し、時間経過とともに推薦システムと相互作用する。
• ユーザーの選択を、システムスコアと個人的好みの組み合わせに基づく選択としてモデル化する：$\arg\max_j s_{ij} + x_i^T y_j$。
• ユーザーとアイテムの好みを潜在要因で表す線形モデルを用い、$s_{ij}$ をシステムスコア、$x_i^T y_j$ を個人的好みを表す。
• 安定性を向上させるために正則化とランク $2q$ を用いた逐次最小二乗法（ALS）を推定に適用する。
• マルチアームドバンディットからのレグレットフレームワークを用いて推定器のパフォーマンスを評価し、ナーヴィな、ランダムな、繰り返し訓練データ戦略を比較する。
• 独立したガウス分布を用いた潜在ベクトルと小さなノイズを用い、2000人のユーザー、500個のアイテム、$q=4$ の潜在次元を想定したシミュレーションにより結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 ユーザー行動と推薦システムのデータの間のフィードバックループが、標準的推定器の一貫性にどのように影響を与えるか？
• RQ2 明示的な探索インcentiveなしに、多様なユーザーの好みがある状況で、偏りのない推定器が効率的学習を達成できるか？
• RQ3 ユーザーが推薦と個人的シグナルの両方に基づいて意思決定する場合、選択バイアスが推定器のパフォーマンスに与える影響は何か？
• RQ4 行列分解法は、シンプルな線形モデルと比較して、動的でフィードバック駆動のデータ収集下でどのように性能を発揮するか？
• RQ5 ランダムまたは繰り返し選択プロセスが、フィードバックループの影響で推定器のパフォーマンスをどの程度悪化させるか？

主な発見

• フィードバックループを無視するナーヴィな推定器は、無限に多くのデータがあっても、線形レグレットに陥り、時間ステップごとのパフォーマンスが最適から常に離れている。
• 偏りのないスコアを使用する一貫性のある推定器は、対数的レグレットを達成し、効率的な学習と最適パフォーマンスへの収束を示している。
• 多様なユーザーの好みが自然に『無料の』探索を生み出し、データの多様性を促すために外部のインcentive や支払いの必要性を排除する。
• シミュレーションでは、ランダム選択に基づいて訓練された推薦が、完璧な推薦に基づくものよりもパフォーマンスが優れていることが示され、フィードバックループによる劣化が顕著に現れている。
• 繰り返しランダム選択プロセスは、ランダム選択よりも著しくパフォーマンスが悪く、フィードバックループが行列分解モデルにおけるバイアスを強化していることが示された。
• 推薦システムの動的性は、単純な線形モデルと比較して、行列分解法により深刻な影響を与え、選択バイアスの蓄積が顕著に現れている。