[論文レビュー] AutoEmb: Automated Embedding Dimensionality Search in Streaming Recommendations

Xiangyu Zhao, Chong Wang+4 more|arXiv (Cornell University)|Feb 26, 2020

Recommender Systems and Techniques参考文献 39被引用数 21

ひとこと要約

AutoEmbは、ユーザーとアイテムのリアルタイムの人気度に基づいて、ストリーミングレコメンデーションシステムにおける動的埋め込み次元を自動的に選択するエンド・ツー・エンドで微分可能なAutoMLフレームワークを提案する。学習可能なコントローラーと微分可能なアーキテクチャ探索を統合することで、特にデータが乏しい条件下でも推薦性能と学習効率が向上し、固定次元のベースラインを上回る。

ABSTRACT

Deep learning based recommender systems (DLRSs) often have embedding layers, which are utilized to lessen the dimensionality of categorical variables (e.g. user/item identifiers) and meaningfully transform them in the low-dimensional space. The majority of existing DLRSs empirically pre-define a fixed and unified dimension for all user/item embeddings. It is evident from recent researches that different embedding sizes are highly desired for different users/items according to their popularity. However, manually selecting embedding sizes in recommender systems can be very challenging due to the large number of users/items and the dynamic nature of their popularity. Thus, in this paper, we propose an AutoML based end-to-end framework (AutoEmb), which can enable various embedding dimensions according to the popularity in an automated and dynamic manner. To be specific, we first enhance a typical DLRS to allow various embedding dimensions; then we propose an end-to-end differentiable framework that can automatically select different embedding dimensions according to user/item popularity; finally we propose an AutoML based optimization algorithm in a streaming recommendation setting. The experimental results based on widely used benchmark datasets demonstrate the effectiveness of the AutoEmb framework.

研究の動機と目的

• 深層学習レコメンデーションシステムにおける固定埋め込み次元の制限を解消し、人気度が異なるユーザーとアイテムの最適な表現学習を可能にすること。
• 人気度が急速に変化するリアルタイムストリーミング環境において、手動での次元チューニングが非現実的であるため、自動的かつ動的かつ次元選択を可能にすること。
• 可変埋め込み次元をサポートしつつ、標準的な深層学習アーキテクチャと互換性を保つエンド・ツー・エンドで微分可能なフレームワークを構築すること。
• 変化するユーザーとアイテムの相互作用パターンに適応するAutoMLコントローラーを学習することで、トレーニング効率と推薦精度を向上させること。

提案手法

• 標準的な深層学習レコメンデーションシステムに、ユーザー／アイテムごとに可変な埋め込み次元をサポートするように拡張し、次元の固定グローバル設定とは独立させる。
• 現在の人気度（つまり、相互作用の数）に基づいて、各ユーザー／アイテムの最適な埋め込み次元を予測する微分可能なコントローラーネットワークを設計する。
• 埋め込み次元選択を微分可能なアーキテクチャ探索問題として定式化し、ソフトリラクゼーションを用いて離散的選択を微分可能にする。
• バリデーションセットにおける推薦性能を最大化するように、強化学習または勾配ベース最適化を用いてコントローラーを訓練する。
• 新しい相互作用が到着し、人気度が変化する中でのオンライン適応を可能にするために、コントローラーをストリーミングレコメンデーションパイプラインに統合する。
• 離散的次元選択を微分可能にするために、ソフトアーグマックスまたはガウベル・ソフトマックスリラクゼーションを用いる。

実験結果

リサーチクエスチョン

• RQ1 ユーザーとアイテムの人気度に基づいて埋め込み次元を動的に調整することで、ストリーミング環境における推薦性能が向上するか？
• RQ2 エンド・ツー・エンドで微分可能なコントローラーによる埋め込み次元選択は、固定次元ベースラインと比較して、精度と学習効率の面でどのように異なるか？
• RQ3 AutoMLに基づく次元選択は、特にデータが乏しい状況において、多様な人気度レベルにどの程度適応できるか？
• RQ4 提示されたフレームワークは、数百万ものユーザーとアイテムを含む大規模かつ実世界のレコメンデーションシステムにもスケーラブルに維持できるか？
• RQ5 コントローラーのユーザーおよびアイテム全体にわたる一般化能力が、モデルのロバストネスと収束性に与える影響はいかほどか？

主な発見

• AutoEmbは、複数のベンチマークデータセットにおいて、固定次元ベースラインと比較して、平均二乗誤差が低く、精度が高くなるという点で、顕著に推薦性能を向上させる。
• 人気度が低い場合には、より小さな埋め込み次元で優れた性能を達成し、人気度が高くなるに従い、大規模な次元に効果的にスケーリングする。
• AutoMLベースのコントローラーは、相互作用データが限られる状況でも、トレーニング時間を短縮し、収束速度を向上させる。
• 微分可能なコントローラーによりエンド・ツー・エンド最適化が可能となり、手動でのチューニングなしに最適な次元割り当てを学習できる。
• ユーザーおよびアイテム全体にわたって良好に一般化され、ストリーミング環境における動的な人気度の変化に対しても、ロバストであることが示された。
• アブレーションスタディにより、均一な埋め込みサイズよりも、動的次元選択が、特に高・低人気ユーザー／アイテムにおいてより効果的であることが確認された。