[論文レビュー] Wasserstein Autoencoders for Collaborative Filtering

Jingbin Zhong, Xiaofeng Zhang|arXiv (Cornell University)|Sep 15, 2018

Recommender Systems and Techniques参考文献 23被引用数 3

ひとこと要約

本稿では、暗黙のフィードバックを用いた協調フィルタリングのための適応 Wasserstein 自動エンコーダ（aWAE）を提案する。相互情報量損失と L1 正則化を導入することで、潜在空間の質とスパarsity を向上させ、モデル性能を向上させる。ML-20M、Netflix、LASTFM で評価した結果、Recall@1、Recall@5、NDCG@10 において Mult-VAE、Mult-DAE、CDAE、Slim を上回り、優れた推薦精度を示した。

ABSTRACT

The recommender systems have long been investigated in the literature. Recently, users' implicit feedback like `click' or `browse' are considered to be able to enhance the recommendation performance. Therefore, a number of attempts have been made to resolve this issue. Among them, the variational autoencoders (VAE) approach already achieves a superior performance. However, the distributions of the encoded latent variables overlap a lot which may restrict its recommendation ability. To cope with this challenge, this paper tries to extend the Wasserstein autoencoders (WAE) for collaborative filtering. Particularly, the loss function of the adapted WAE is re-designed by introducing two additional loss terms: (1) the mutual information loss between the distribution of latent variables and the assumed ground truth distribution, and (2) the L1 regularization loss introduced to restrict the encoded latent variables to be sparse. Two different cost functions are designed for measuring the distance between the implicit feedback data and its re-generated version of data. Experiments are valuated on three widely adopted data sets, i.e., ML-20M, Netflix and LASTFM. Both the baseline and the state-of-the-art approaches are chosen for the performance comparison which are Mult-DAE, Mult-VAE, CDAE and Slim. The performance of the proposed approach outperforms the compared methods with respect to evaluation criteria Recall@1, Recall@5 and NDCG@10, and this demonstrates the efficacy of the proposed approach.

研究の動機と目的

• 変分オートエンコーダ（VAEs）が協調フィルタリングにおいて、潜在変数の分布が著しく重複することによる推薦性能の低下という限界を是正すること。
• Wasserstein 自動エンコーダ（WAEs）を初めて協調フィルタリングに適応し、最適輸送を活用して潜在空間分布の整合性を向上させること。
• L1 正則化を導入することで、潜在変数のスパarsity を強制し、一般化性能を向上させ、データのスパarsity を処理すること。
• 非クリックされたアイテムを明示的にモデル化する二項損失を含む、新たな二つのコスト関数を設計することで、再構成の正確性を向上させること。
• 大規模かつ実世界の推薦データセットにおいて、最先端のベースラインと比較して本手法の優位性を検証すること。

提案手法

• 潜在変数と事前分布間の相互情報量損失と L1 正則化を組み合わせた、aWAE のための新しい損失関数を提案し、スパarsity を促進する。
• 潜在分布と事前分布間の Wasserstein 距離を近似するためのサンプル平均平均分散（SMV）法を導入し、元の GAN スタイルの識別器に代わる。
• ADMM を用いた修正された変分推論学習フレームワークを採用し、制約付き最適化問題を解くことで、深層ネットワークのパラメータと正則化項を別々に学習可能にする。
• 二種類の異なるコスト関数を設計：一つは平均二乗誤差に基づくもの、もう一つは非クリックされたアイテムを明示的にモデル化する多項分布損失で、学習の安定性と性能を向上させる。
• 再パラメータ化を用いた変分推論を適用し、エンコーダとデコーダネットワークをエンドツーエンドで最適化するとともに、最適輸送による分布制約を強制する。
• L1 正則化項を最適化するために ADMM を適用し、ネットワーク重みと正則化パラメータの学習を分離する。

実験結果

リサーチクエスチョン

• RQ1 暗黙のフィードバックを用いた協調フィルタリングに、Wasserstein 自動エンコーダを効果的に適応させることは可能か？ これにより、既存の VAE に基づく手法を上回ることができるか？
• RQ2 潜在分布と事前分布間の相互情報量損失を導入することで、学習された表現の質と分離性はどのように変化するか？
• RQ3 潜在変数への L1 正則化は、スパースで現実世界のデータセットにおいて、スパarsity と推薦性能をどの程度向上させるか？
• RQ4 非クリックされたアイテムをモデル化する多項分布コスト関数は、標準的な再構成損失と比較して、収束速度と性能をどのように改善するか？
• RQ5 Recall および NDCG の指標において、本手法の aWAE は Mult-VAE、Mult-DAE、CDAE、Slim といった最先端モデルと比較して、どの程度優れているか？

主な発見

• 提案手法の aWAE は、ML-20M、Netflix、LASTFM のすべてのデータセットで、Recall@1、Recall@5、NDCG@10 において、Mult-VAE、Mult-DAE、CDAE、Slim を上回る最高の性能を達成した。
• LASTFM データセットでは、5 つの評価基準で最高、2 つの基準で2番目に高いスコアを記録し、優れた一般化性能を示した。
• 相互情報量損失は、さまざまなハイパーパramータ設定において安定して寄与し、最適な性能は α=0.3 のときを示し、ハイパーパramータ選択に対して頑健であることを示した。
• 多項分布コスト関数により、非クリックされたアイテムをモデル化でき、収束が速くなり、標準的なオートエンコーダで無視されがちなアイテムを考慮することで、モデル性能が著しく向上した。
• Wasserstein 距離の近似に用いる SMV 法は、GAN スタイルの識別器に代わる安定的で効果的な代替手段を提供し、分布の整合性を向上させた。
• Recall@20 および Recall@50 において、Mult-VAE と同等の性能（例：0.441 対 0.444）を達成しており、大規模なアイテムセットの推薦においても強力な性能を示している。