[論文レビュー] Differentiable Neural Input Search for Recommender Systems

Weiyu Cheng, Yanyan Shen+1 more|arXiv (Cornell University)|Jun 8, 2020

Recommender Systems and Techniques参考文献 40被引用数 20

ひとこと要約

本稿では、特徴埋め込み次元の重要性を制御するソフト選択層を導入することで、特徴埋め込み次元とモデル性能を同時に最適化する微分可能で勾配ベースの手法であるDifferentiable Neural Input Search (DNIS)を提案する。DNISは埋め込み次元に対する柔軟で連続的な探索を可能にし、従来のニューラル入力探索手法と比較してパラメータ数が少なく、学習時間も短い状態で最先端の推薦性能を達成する。

ABSTRACT

Latent factor models are the driving forces of the state-of-the-art recommender systems, with an important insight of vectorizing raw input features into dense embeddings. The dimensions of different feature embeddings are often set to a same value empirically, which limits the predictive performance of latent factor models. Existing works have proposed heuristic or reinforcement learning-based methods to search for mixed feature embedding dimensions. For efficiency concern, these methods typically choose embedding dimensions from a restricted set of candidate dimensions. However, this restriction will hurt the flexibility of dimension selection, leading to suboptimal performance of search results. In this paper, we propose Differentiable Neural Input Search (DNIS), a method that searches for mixed feature embedding dimensions in a more flexible space through continuous relaxation and differentiable optimization. The key idea is to introduce a soft selection layer that controls the significance of each embedding dimension, and optimize this layer according to model's validation performance. DNIS is model-agnostic and thus can be seamlessly incorporated with existing latent factor models for recommendation. We conduct experiments with various architectures of latent factor models on three public real-world datasets for rating prediction, Click-Through-Rate (CTR) prediction, and top-k item recommendation. The results demonstrate that our method achieves the best predictive performance compared with existing neural input search approaches with fewer embedding parameters and less time cost.

研究の動機と目的

• 潜在要因モデルにおける固定で均一な埋め込み次元の制限を是正すること。これは、高頻度特徴を十分に活用できない、または低頻度特徴に過剰適合してしまう原因となる。
• ニューラル入力探索（NIS）における離散的候補ベースの探索手法の非効率性と最適性の欠如を克服すること。これには、次元選択が事前に定義された集合に制限されるという問題がある。
• バリデーション性能に基づいて、埋め込み次元の連続的で勾配ベースの最適化を可能にする、モデルに依存しない微分可能なアプローチを開発すること。
• 最適化後に細かめのプルーニング手順を適用することで、冗長な埋め込み次元を削除し、モデルサイズとパラメータ数を削減すること。

提案手法

• 特徴埋め込みと学習可能なスケーリングベクトルとの要素ごとの積を計算するソフト選択層を導入し、各埋め込み次元の重要性を連続的に制御可能にする。
• バリデーション損失を目的関数として勾配降下法を用いてソフト選択層を最適化し、エンドツーエンドの微分可能学習を実現する。
• ソフト選択層の最適化中に発生する勾配の高分散を低減することで学習を安定化させるための勾配正規化技術を提案する。
• 学習後、ソフト選択層を埋め込み層と統合し、細かめのプルーニングを適用することで、各特徴ごとに混合埋め込み次元スキームを導出する。
• ベースとなる次元空間 $ K $ を用意し、特徴を $ L $ 個のブロックに分割することで、次元割り当てに対する細かめの制御を可能にする。
• 本手法はモデルに依存せず、任意の既存の潜在要因モデルとシームレスに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 離散的でヒューリスティック的、あるいは強化学習ベースの手法と比較して、埋め込み次元探索の微分可能で連続的な緩和化が推薦性能を向上させることができるか？
• RQ2 学習された埋め込み次元分布は、特徴の頻度と予測的有用性の両者とどのように相関しているか？
• RQ3 提案された勾配正規化技術は、ソフト選択層の学習を安定化させ、収束性を向上させることができるか？
• RQ4 DNISは、従来のニューラル入力探索手法と比較して、より少ないパラメータ数と短い時間コストで優れた性能を達成できるか？

主な発見

• DNISは、3つの公開データセットにおいて、レーティング予測、CTR予測、およびトップ-kアイテム推薦の各タスクで最先端の性能を達成した。
• 冗長な埋め込みパラメータをプルーニングすることでモデルサイズを削減し、ベースライン手法と比較してより少ないパラメータ数で優れた性能を達成した。
• 頻度の高い特徴にはより大きな埋め込み次元が割り当てられ、低頻度特徴にはより小さな次元が割り当てられる傾向が、学習された $ \bm{\alpha} $ パrametersとプルーニング後の次元に反映された。
• 低頻度特徴に対してはソフト選択層パラメータ $ \bm{\alpha} $ が小さい値に収束しており、次元割り当てが減少していることが示された。
• あらゆるプルーニングレートにおいて、AUCとLoglossの両面でネットワークプルーニング手法を上回り、勾配ベースの最適化による優れた特徴次元選択の有効性を示した。
• $ K $（ベース次元）と $ L $（特徴ブロック数）を増やすことで性能が向上するが、ある値を超えると増加率が鈍り、限界効果が現れる傾向があることが示された。