[論文レビュー] Memory-efficient Embedding for Recommendations

Xiangyu Zhao, Haochen Liu+7 more|arXiv (Cornell University)|Jun 26, 2020

Recommender Systems and Techniques参考文献 55被引用数 19

ひとこと要約

この論文では、深層学習ベースのレコメンデーションシステムにおける異なる特徴フィールドに最適で可変な埋め込み次元を自動的に割り当てるAutoDimというAutoMLフレームワークを提案する。異なる可微分で連続的な最適化プロセスを用いて次元重みを学習し、それを離散的・ハードなアーキテクチャに蒸留することで、メモリ使用量を削減しながらも、ベンチマークデータセット上で推薦性能を維持または向上させることができる。

ABSTRACT

Practical large-scale recommender systems usually contain thousands of feature fields from users, items, contextual information, and their interactions. Most of them empirically allocate a unified dimension to all feature fields, which is memory inefficient. Thus it is highly desired to assign different embedding dimensions to different feature fields according to their importance and predictability. Due to the large amounts of feature fields and the nuanced relationship between embedding dimensions with feature distributions and neural network architectures, manually allocating embedding dimensions in practical recommender systems can be very difficult. To this end, we propose an AutoML based framework (AutoDim) in this paper, which can automatically select dimensions for different feature fields in a data-driven fashion. Specifically, we first proposed an end-to-end differentiable framework that can calculate the weights over various dimensions for feature fields in a soft and continuous manner with an AutoML based optimization algorithm; then we derive a hard and discrete embedding component architecture according to the maximal weights and retrain the whole recommender framework. We conduct extensive experiments on benchmark datasets to validate the effectiveness of the AutoDim framework.

研究の動機と目的

• すべての特徴フィールドに均一に固定された埋め込み次元を割り当てることで生じる大規模レコメンデーションシステムにおけるメモリ非効率性を解消すること。
• 予測的価値と基数に基づいて、異なる特徴フィールドに最適な埋め込み次元を自動的に特定すること。
• 数千の特徴フィールドにわたる次元割り当てについて、手動または全探索が非現実的であることを克服すること。
• 埋め込み次元の連続的・勾配ベース最適化を可能にする、エンドツーエンドで可微分なフレームワークを構築すること。
• フレームワークの有効性を、メモリフットプリントを削減しながらも推薦精度を維持または向上させることで検証すること。

提案手法

• 各特徴フィールドに対して複数の候補となる埋め込み次元のソフトで連続的な重みを計算するエンドツーエンドで可微分なフレームワークを提案する。
• 勾配降下を用いて次元重みとモデルパラメータを同時に学習する、AutoMLベースの最適化アルゴリズムを導入する。
• 各特徴フィールドに対して学習された重みが最大の次元を選択することで、ハードで離散的な埋め込みアーキテクチャを導出する。
• 埋め込み照合方法と埋め込み変換アプローチの2通りを用いて、それらが次元割り当て意思決定に与える影響を評価する。
• 最終的なレコメンデーションシステムを、導出された離散的アーキテクチャに基づいて再訓練することで、性能の一貫性を確保する。
• 離散的アーキテクチャ探索問題の可微分な緩和化を用いて、次元選択プロセスにバックプロパゲーションを可能にする。

実験結果

リサーチクエスチョン

• RQ1 自動的かつデータ駆動型の手法は、レコメンデーションシステムにおける異なる特徴フィールドに可変な埋め込み次元を効果的に割り当てることができるか？
• RQ2 特徴の分布、基数、最適な埋め込み次元との関係が、推薦性能にどのように影響を与えるか？
• RQ3 離散的次元選択の可微分で連続的な緩和化は、効果的かつ効率的なAutoMLベースの最適化を可能にするか？
• RQ4 提案されたフレームワークは、顕著に削減されたメモリ使用量で、同等またはより優れた推薦性能を達成できるか？
• RQ5 埋め込み照合法と変換アプローチの異なる組み合わせは、最終的な次元割り当て意思決定にどのように影響を与えるか？

主な発見

• AutoDimは、ベンチマークデータセット上で、埋め込みパラメータ総数を最大50％まで削減しながらも、推薦性能を維持またはわずかに向上させた。
• このフレームワークは、高い予測的価値を持つ特徴（例：場所、商品ID）を特定し、それらに大きな埋め込み次元を割り当てている一方で、基数が小さい特徴（例：性別）には小さな次元を割り当てている。
• 可微分なアーキテクチャ探索プロセスにより、離散的空間における高価な探索を回避することができる勾配ベース最適化が有効に実現された。
• アブレーションスタディの結果、埋め込み照合法と変換アプローチの選択が最終的な次元割り当てに影響を与えることが確認され、最適化プロセスにおけるアーキテクチャ設計の重要性が浮き彫りになった。
• ソフト重みから導出された蒸留されたハードアーキテクチャは、均一に割り当てられた次元を持つモデルと同等またはより優れた性能を示しており、蒸留ステップの有効性を実証した。
• このフレームワークは複数の実世界ベンチマークデータセットに一般化可能であり、実用的環境における堅牢性とスケーラビリティを示した。