[論文レビュー] Rethinking Neural vs. Matrix-Factorization Collaborative Filtering: the Theoretical Perspectives

Da Xu, Chuanwei Ruan+3 more|arXiv (Cornell University)|Oct 23, 2021

Domain Adaptation and Few-Shot Learning参考文献 54被引用数 4

ひとこと要約

本論文は、ニューラルコラボラティブフィルタリング（NCF）と行列分解コラボラティブフィルタリング（MCF）の厳密な理論的分析を提供し、勾配降下法の下で両モデルが同じノルム制約付きマックスマージン解に収束することを示している。MCFは誘導的設定においてより良い一般化性能を示す一方、NCFは誘導的設定において露出バイアスに苦しむが、欠損がランダムでない（MNAR）分布を考慮する新しい一般化バウンドが提案されている。

ABSTRACT

The recent work by Rendle et al. (2020), based on empirical observations, argues that matrix-factorization collaborative filtering (MCF) compares favorably to neural collaborative filtering (NCF), and conjectures the dot product's superiority over the feed-forward neural network as similarity function. In this paper, we address the comparison rigorously by answering the following questions: 1. what is the limiting expressivity of each model; 2. under the practical gradient descent, to which solution does each optimization path converge; 3. how would the models generalize under the inductive and transductive learning setting. Our results highlight the similar expressivity for the overparameterized NCF and MCF as kernelized predictors, and reveal the relation between their optimization paths. We further show their different generalization behaviors, where MCF and NCF experience specific tradeoff and comparison in the transductive and inductive collaborative filtering setting. Lastly, by showing a novel generalization result, we reveal the critical role of correcting exposure bias for model evaluation in the inductive setting. Our results explain some of the previously observed conflicts, and we provide synthetic and real-data experiments to shed further insights to this topic.

研究の動機と目的

• 長年の議論である、ニューラルコラボラティブフィルタリング（NCF）が行列分解コラボラティブフィルタリング（MCF）を上回るかどうかを、厳密な理論的基盤をもって解明すること。
• 過パラメータ化領域におけるNCFおよびMCFの極限的表現力が、カーネル化予測子としてどのように振る舞うかを調査すること。
• 両モデルにおける勾配降下最適化経路の誘導的バイアスを分析し、収束挙動を特定すること。
• 誘導的および誘導的学習設定下での一般化性能を比較すること、特にデータが欠損がランダムでない（MNAR）条件下での比較を含む。
• 誘導的コラボラティブフィルタリングにおける露出バイアスを考慮する新しい一般化バウンドを導出することにより、モデル評価の信頼性を向上させること。

提案手法

• ニューラルタングエント・カーネル（NTK）フレームワークを活用し、NCFおよびMCFの極限的表現力をカーネル化予測子として分析する。
• NCFおよびMCFが勾配降下法の下でノルム制約付きマックスマージン解に収束することを示す統一的最適化解析を導出する。
• 誘導的および誘導的設定下での一般化行動を比較するための、証明可能なタイトなノルム制約容量解析を導入する。
• 誘導的学習における露出バイアスを補正するための逆確率重み付け（IPW）補正機構を提案し、一般化評価を改善する。
• 合成データおよび実世界データの実験を用いて理論的発見を検証し、偏りのあるおよび偏りのない評価指標下でのAUC比較を含む。
• 凸最適化（CVXOPT）を用いて、MCFおよびNCFの予測と比較するための正確な核ノルム最大化マージン解を計算する。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化領域におけるNCFおよびMCFの極限的表現力は、カーネル化予測子としてどのように振る舞うか？
• RQ2 勾配降下最適化の下で、NCFおよびMCFはどの解に収束するのか？また、その最適化経路はどのように比較できるか？
• RQ3 NCFおよびMCFは、誘導的設定と誘導的設定の下で、それぞれどのように一般化するか？
• RQ4 露出バイアスはモデル評価にどのような役割を果たすのか？誘導的設定における一般化評価を改善するために、どのように補正できるか？
• RQ5 経験的分布と露出分布の乖離は、モデルの一般化にどのように影響するか？また、これを理論的にバウンドできるか？

主な発見

• NCFおよびMCFは、勾配降下法の下でノルム制約付きマックスマージン解に収束し、構造的差異があるものの、共通の誘導的バイアスを示している。
• 過パラメータ化されたNCFおよびMCFの表現力は、カーネル化予測子として見なした場合に同等であり、無限大の幅の極限において同じ関数クラスをモデル化している。
• 誘導的設定では、MCFはデータ分布の変化に対して不変であるため、NCFよりも一般化性能が優れている。一方、NCFは露出バイアスのため性能が劣る。
• 誘導的設定では、露出バイアスが補正されないNCFは一般化性能が著しく劣るが、逆確率重み付け（IPW）補正により性能が顕著に向上する。
• 欠損がランダムでない（MNAR）メカニズムを考慮する新しい一般化バウンドが導出され、露出バイアス補正が信頼性の高い評価に不可欠であることが示された。
• 実験により、IPWを適用したNCFがMCFと同等の偏りのないAUC性能を達成することが確認され、従来のモデル比較における矛盾を解消した。