[論文レビュー] Collaborative Variational Bandwidth Auto-encoder for Recommender Systems

Yaochen Zhu, Zhenzhong Chen|arXiv (Cornell University)|May 17, 2021

Recommender Systems and Techniques被引用数 1

ひとこと要約

本論文では、レーティングのスパarsity under rating sparsity において推薦性能を向上させるために、ガウス確率変数を用いて協調フィルタリングとユーザーフィーチャーを統合的にモデル化する変分帯域幅自己符号化器（VBAE）を提案する。レーティング密度に基づいて特徴情報のフローを動的に制御するユーザーディペンデントチャネル変数を導入することで、スパースなユーザーユーザーの不確実性を低減し、ノイズの多い特徴への過学習を回避する。本手法は、ベンチマークデータセットにおいて最先端の性能を達成している。

ABSTRACT

Collaborative filtering has been widely adopted by modern recommender systems to discover user preferences based on their past behaviors. However, the observed interactions for different users are usually unbalanced, which leads to high uncertainty in the collaborative embeddings of users with sparse ratings, thereby severely degenerating the recommendation performance. Consequently, more efforts have been dedicated to the hybrid recommendation strategy where user/item features are utilized as auxiliary information to address the sparsity problem. However, since these features contain rich multimodal patterns and most of them are irrelevant to the recommendation purpose, excessive reliance on these features will make the model difficult to generalize. To address the above two challenges, we propose a VBAE for recommendation. VBAE models both the collaborative and the user feature embeddings as Gaussian random variables inferred via deep neural networks to capture non-linear similarities between users based on their ratings and features. Furthermore, VBAE establishes an information regulation mechanism by introducing a user-dependent channel variable where the bandwidth is determined by the information already contained in the observed ratings to dynamically control the amount of information allowed to be accessed from the corresponding user features. The user-dependent channel variable alleviates the uncertainty problem when the ratings are sparse while avoids unnecessary dependence of the model on noisy user features simultaneously. Codes and datasets are released at this https URL.

研究の動機と目的

• レコメンデーションシステムにおけるスパースなレーティングを持つユーザーユーザーの協調的埋め込みにおける高い不確実性に対処すること。
• ハイブリッドレコメンデーションモデルにおけるノイズの多いまたは関係のないユーザーフィーチャーへの過学習のリスクを軽減すること。
• ユーザーリンクとユーザーフィーチャーを動的情報制御を伴って統合的にモデル化する統一フレームワークの構築。
• レーティングのスパarsity に応じて特徴情報フローを適応的に制御することで、一般化性能とレコメンデーション性能を向上させること。
• 低レーティング状況における、補助的ユーザーフィーチャーの活用とその悪影響の緩和のトレードオフをバランスさせること。

提案手法

• 非線形なユーザーユーザー類似度を捉えるために、深層ニューラルネットワークを用いて協調的およびユーザーフィーチャー埋め込みをガウス確率変数としてモデル化する。
• ユーザーフィーチャーから埋め込み空間への情報フローの帯域幅を制御するユーザーディペンデントチャネル変数を導入する。
• 観測済みのユーザーレーティングにすでに存在する情報量に基づいてチャネル帯域幅を決定することで、スパarsity に応じた動的適応を可能にする。
• 変分推論を用いて、正則化された潜在空間を伴う尤度下界（ELBO）を最適化するモデルを定式化する。
• 再パラメータライゼーショントリックを用いて、確率的勾配降下法によるエンドツーエンドの深層ニューラルネットワークの訓練を可能にする。
• レーティングに基づく不確実性をチャネル機構に統合し、レーティングがスパースな際にはノイズの多いまたは関係のない特徴を抑制する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、レコメンデーションシステムにおけるスパースなユーザーレーティングに起因する不確実性に対処した協調的埋め込みをより強固にすることができるか？
• RQ2 補助的ユーザーフィーチャーは、ノイズや過学習を引き起こさずに、どの程度レコメンデーション性能を向上させることができるか？
• RQ3 ユーザーフィーチャーのスパarsity に応じて適応的に変化する動的情報制御機構は、モデルの一般化性能を向上させることができるか？
• RQ4 ハイブリッドレコメンデーションモデルにおいて、固定または静的特徴量重み付けと比較して、提案されたチャネルベースの情報制御機構はどのように異なるか？
• RQ5 ユーザーディペンデント帯域幅制御は、異なるスパarsity 水準においてレコメンデーション精度と耐性にどのような影響を与えるか？

主な発見

• 提案されたVBAEモデルは、複数のベンチマークデータセットで最先端の性能を達成しており、既存の協調フィルタリングおよびハイブリッドレコメンデーション手法を上回っている。
• 動的帯域幅機構により、スパースなレーティングを持つユーザーユーザーの埋め込みにおける不確実性が顕著に低減され、レコメンデーションの信頼性が向上した。
• 特徴情報フローの制御により、VBAEはノイズの多いまたは関係のないユーザーフィーチャーへの過剰な依存を回避し、モデルの一般化性能を向上させた。
• 本モデルは、スパースおよび密なレーティングの両状況において一貫した性能向上を示し、その耐性の高さを裏付けた。
• アブレーションスタディの結果、特に低レーティング状況において、ユーザーディペンデントチャネル変数が性能に不可欠であることが確認された。
• 改善されたレコメンデーション精度と安定性の証拠から、ノイズの影響を軽減しつつユーザーフィーチャーを効果的に活用するというトレードオフを、本手法は効果的にバランスさせている。