[論文レビュー] Infinite Recommendation Networks: A Data-Centric Approach

Noveen Sachdeva, Mehak Preet Dhaliwal+2 more|arXiv (Cornell University)|Jun 3, 2022

Machine Learning in Healthcare被引用数 10

ひとこと要約

本稿では、Neural Tangent Kernel を用いた無限幅自己オートエンコーダー（∞-AE）により閉形式で実現される高表現力な協調フィルタリングを特徴とする、データ中心の推薦モデル ∞-AE を提案する。さらに、∞-AE を用いてコンパクトで高忠実度のデータ要約を生成する微分可能データ蒸留フレームワーク Distill-CF を提案し、わずか 0.1% のデータでフルデータセットの 96–105% の性能を達成することを示した。これは、推薦システムにおいてデータの質が量を上回ることを示している。

ABSTRACT

We leverage the Neural Tangent Kernel and its equivalence to training infinitely-wide neural networks to devise $\infty$-AE: an autoencoder with infinitely-wide bottleneck layers. The outcome is a highly expressive yet simplistic recommendation model with a single hyper-parameter and a closed-form solution. Leveraging $\infty$-AE's simplicity, we also develop Distill-CF for synthesizing tiny, high-fidelity data summaries which distill the most important knowledge from the extremely large and sparse user-item interaction matrix for efficient and accurate subsequent data-usage like model training, inference, architecture search, etc. This takes a data-centric approach to recommendation, where we aim to improve the quality of logged user-feedback data for subsequent modeling, independent of the learning algorithm. We particularly utilize the concept of differentiable Gumbel-sampling to handle the inherent data heterogeneity, sparsity, and semi-structuredness, while being scalable to datasets with hundreds of millions of user-item interactions. Both of our proposed approaches significantly outperform their respective state-of-the-art and when used together, we observe 96-105% of $\infty$-AE's performance on the full dataset with as little as 0.1% of the original dataset size, leading us to explore the counter-intuitive question: Is more data what you need for better recommendation?

研究の動機と目的

• 推薦システムにおける巨大でスパースなユーザ・アイテム相互作用データセットの学習に伴う計算コストと環境負荷の増大に対処すること。
• データサイズの増大ではなく、体系的なデータ要約によるデータ品質の向上によってモデル性能を向上させること。
• 大規模で多様性がありスパースな推薦データから、スケーラブルで微分可能な方法で情報量が多く汎用的なデータ要約を蒸留すること。
• 高品質で極めて小さなデータ要約が、ノイズや計算リソースの制限下でもフルデータセットを上回る性能を示すかどうかを調査すること。
• データ中心の改善が、従来のモデルアーキテクチャの進歩を上回る推薦性能を達成できることを示すこと。

提案手法

• Neural Tangent Kernel (NTK) を活用し、閉形式解を有する無限幅自己オートエンコーダー（∞-AE）を訓練することで、高速かつ高表現力でパラメータフリーな協調フィルタリングを実現する。
• Distill-CF においては、外側の最適化ループで微分可能な Gumbel サンプリングを用いてデータ要約の選択を最適化する二段階最適化フレームワークに ∞-AE を組み込む。
• 複数ステップの微分可能な Gumbel サンプリングを用いて、データのスパarsity、多様性、準構造的特性を扱いながら、1億以上の相互作用を含むデータセットに対してもスケーラブルであることを保証する。
• 内側のループで現在のデータ要約上で ∞-AE を学習し、外側のループで勾配ベースの選択により要約を更新する二段階の目的関数を採用する。
• 要約に学習されたモデルが、ノイズの多いフルデータセットを学習したモデルよりも優れた性能を示すことで、ノイズ除去効果を実証する。
• 再利用可能性を検証するため、要約を再利用して多様な下流モデル（例：EASE、MVAE）を訓練するが、蒸留プロセスの再訓練は行わない。

実験結果

リサーチクエスチョン

• RQ1 閉形式解を有する無限幅自己オートエンコーダーは、最先端の有限幅推薦モデルを上回る性能を示せるか？
• RQ2 微分可能な Gumbel サンプリングによるデータ蒸留によって、コンパクトかつ情報量の多い要約が得られるか？
• RQ3 0.1% のデータ要約から学習されたモデルが、フルデータセットで学習されたモデルと同等の性能を達成できるか？
• RQ4 データ蒸留は本質的にノイズ除去を実現するのか？特に、ノイズを含むフルデータセットよりも、要約から学習されたモデルが優れた性能を示すか？
• RQ5 蒸留されたデータ要約は、再訓練なしに多様な下流モデルに普遍的に再利用可能か？

主な発見

• ∞-AE は、単一の全結合層と単一のハイパーパrameterのみを用いて、4つのベンチマークデータセットで最先端の性能を達成し、閉形式解を有する。
• Distill-CF は、元のデータセットと比較して 2–3 次元小さくなるデータ要約を生成し、∞-AE のフルデータセット性能の 96–105% を維持する。
• ノイズを含む元のデータがある場合、要約から学習されたモデルは、フルデータセットで学習されたモデルを上回る性能を示し、顕著なノイズ除去効果を示す。
• 要約は普遍的に有効である：EASE や MVAE といったモデルで、要約から学習した場合、下流モデルが蒸留プロセスに参加していなくても、フルデータセットで学習した場合と同等の性能を達成する。
• ∞-AE と Distill-CF の組み合わせにより、高忠実度で低コストな推薦パイプラインが実現可能であり、Distill-CF は数億の相互作用を含むデータセットにもスケーリング可能である。