[論文レビュー] Collaborative Filtering via High-Dimensional Regression

Harald Steck|arXiv (Cornell University)|Apr 30, 2019

Recommender Systems and Techniques参考文献 27被引用数 12

ひとこと要約

本稿では、閉形式解を用いた高次元リッジ回帰に基づく計算効率の高い協調フィルタリング手法を提案する。これは、コストの高い最適化を伴うSlimの代替手段である。L1正則化と非負制約を排除し、人気バイアスの補正に再スケーリングを用いることで、3つのデータセットにおいて著しく高速なトレーニングと最先端の順序付け精度を達成。また、個人化推薦において、深層自動エンコーダーでさえも上回る性能を発揮した。

ABSTRACT

While the SLIM approach obtained high ranking-accuracy in many experiments in the literature, it is also known for its high computational cost of learning its parameters from data. For this reason, we focus in this paper on variants of high-dimensional regression problems that have closed-form solutions. Moreover, we motivate a re-scaling rather than a re-weighting approach for dealing with biases regarding item-popularities in the data. We also discuss properties of the sparse solution, and outline a computationally efficient approximation. In experiments on three publicly available data sets, we observed not only extremely reduced training times, but also significantly improved ranking accuracy compared to SLIM. Surprisingly, various state-of-the-art models, including deep non-linear autoencoders, were also outperformed on two of the three data sets in our experiments, in particular for recommendations with highly personalized relevance.

研究の動機と目的

• 強力な精度を誇るが、トレーニングコストが高いため、Slim協調フィルタリングモデルの計算効率の良い代替手段を開発すること。
• SlimからL1正則化と非負制約を除去することで、順序付け精度が向上するか、閉形式解が可能になるかを調査すること。
• 再重み付けではなく再スケーリングを用いることで、協調フィルタリングにおけるアイテムの人気バイアスを扱う方法の有効性を検討すること。
• スパarsityの役割を評価すること。特に、スパarsityが精度向上に寄与するのか、主に計算コストの低減に寄与するのかを明らかにすること。
• 学習された重み行列を、データ行列の逆行列を用いた理論的に正しいアイテム同士の類似度行列として解釈する理論的根拠を確立すること。

提案手法

• 本手法は、Frobeniusノルム正則化を用いたリッジ回帰により、アイテム同士の重み行列 $\hat{B}$ を閉形式解 $\hat{B} = (X^T X + \lambda I)^{-1} X^T Y$ で求める。
• L1正則化と非負制約をL2正則化に置き換えることで、閉形式計算が可能になり、トレーニングが高速化される。
• 人気バイアスの補正には、誤差の再重み付けではなく、ターゲット値 $Y$ の再スケーリングを採用し、モデルの解釈可能性と性能を維持する。
• スパース近似として、ブロック単位のしきい値処理と $\hat{B}$ へのスパarsity制約を導入し、精度を維持したまま効率的な推論を可能にする。
• 学習された $\hat{B}$ を類似度行列として解釈し、理論的に正しい形はアイテム同士の共起行列 $X^T X$ の逆行列であるとみなす。
• 二値相互作用データのランダムな分割を用いた期待値を用いることで、$X^T X$ と $X^T Y$ の推定を効率的に行う近似トレーニング手法を提案する。

実験結果

リサーチクエスチョン

• RQ1 閉形式リッジ回帰モデルは、トレーニング時間を著しく短縮しながら、Slimを上回る順序付け精度を達成できるか？
• RQ2 SlimからL1正則化と非負制約を除去しても、モデルの複雑さが増すにもかかわらず、性能が向上するか？
• RQ3 再スケーリングは、再重み付けよりも協調フィルタリングにおけるアイテムの人気バイアスの補正に効果的か？
• RQ4 スパarsityの真の役割は何か？精度向上に寄与するのか、それとも主に計算コストの低減に寄与するのか？
• RQ5 線形協調フィルタリングにおいて、アイテム同士の共起行列 $X^T X$ の逆行列が、理論的に正しいアイテム同士の類似度行列の形か？

主な発見

• 提案手法は、実験で収束問題が観察されないなど、Slimに比べて著しく短いトレーニング時間を達成した。
• 3つのデータセットのうち2つ（MovieLensとBook-Crossing）において、Slimおよびすべての比較対象の深層学習モデル（CDAEとMult-VAE）を上回る順序付け精度を達成した。
• MovieLensデータセットでは、平均逆順位（MRR）が0.425に達し、Slimの性能を上回り、CDAE（MRR 0.283）とMult-VAE（MRR 0.364）をも凌駆した。
• 非常にスパースな解（スパarsityレベル0.0007）でも高い精度を維持し、Book-CrossingではMRRが0.371を記録。これは、wmf（MRR 0.312）とcdae（MRR 0.283）を上回った。
• 閉形式解 $\hat{B} = (X^T X + \lambda I)^{-1} X^T Y$ は、計算的にも効率的で、理論的にも妥当であることが示された。$X^T X$ の逆行列が正しい類似度行列を提供することが分かった。
• スパースモデリングは主に計算コストの低減に寄与するが、精度向上には寄与しないことが判明。ただし、過剰に人気のあるアイテムによる信頼の損なわれを緩和する効果がある。