[論文レビュー] DDTCDR: Deep Dual Transfer Cross Domain Recommendation

Li Pan, Alexander Tuzhilin|arXiv (Cornell University)|Oct 11, 2019

Recommender Systems and Techniques参考文献 37被引用数 36

ひとこと要約

DDTCDRは潜在的な直交マッピングとオートエンコーダを用いた深層デュアル転移学習フレームワークを導入し、2つのドメイン間でユーザーの嗜好を転移させ、クロスドメイン推薦の精度を向上させ、実践的にも収束を示した。

ABSTRACT

Cross domain recommender systems have been increasingly valuable for helping consumers identify the most satisfying items from different categories. However, previously proposed cross-domain models did not take into account bidirectional latent relations between users and items. In addition, they do not explicitly model information of user and item features, while utilizing only user ratings information for recommendations. To address these concerns, in this paper we propose a novel approach to cross-domain recommendations based on the mechanism of dual learning that transfers information between two related domains in an iterative manner until the learning process stabilizes. We develop a novel latent orthogonal mapping to extract user preferences over multiple domains while preserving relations between users across different latent spaces. Combining with autoencoder approach to extract the latent essence of feature information, we propose Deep Dual Transfer Cross Domain Recommendation (DDTCDR) model to provide recommendations in respective domains. We test the proposed method on a large dataset containing three domains of movies, book and music items and demonstrate that it consistently and significantly outperforms several state-of-the-art baselines and also classical transfer learning approaches.

研究の動機と目的

• 潜在的ユーザー嗜好の双方向（デュアル）転移を活用することにより、クロスドメイン推奨におけるデータの sparse 問題とコールドスタートに対処する。
• オートエンコーダで潜在的なユーザー/アイテム特徴をモデル化し、ドメイン間で豊富な特徴情報を捉える。
• ドメイン固有の関係を保持しつつ、嗜好を転移させる潜在的な直交マッピングを提案・学習する。
• 両方のドメインで同時に推奨を改善するための反復的なデュアル転移学習を可能にする。
• 収束に関する洞察を提供し、複数ドメインへの拡張について議論する。

提案手法

• ドメイン固有のオートエンコーダを用いてユーザーとアイテムの特徴埋め込みを構築し、W_uとW_iを得る。
• 内積を保ちつつ、ドメイン間でユーザー嗜好を転移する潜在的な直交写像Xを定義する。
• r_A' = (1-α) RS_A(W_uA, W_iA) + α RS_B(X * W_uA, W_iA).
• r_B' = (1-α) RS_B(W_uB, W_iB) + α RS_A(X^T * W_uB, W_iB).
• 両ドメインの再構成誤差を最小化し、Xに直交性を課すためにバックプロパゲーションで学習する。
• 古典的なMF風設定の下で収束を証明し、エポックごとの損失安定化を通じて実証的に収束を検証する。
• 他のすべてのドメインに跨るクロスドメイン寄与を平均化して、複数ドメインへ拡張する。

実験結果

リサーチクエスチョン

• RQ1 潜在的なユーザー嗜好の双方向（デュアル）転移は、単一ドメインのベースラインと比べて、ソースドメインとターゲットドメインの両方で推奨を改善できるだろうか？
• RQ2 潜在的な直交マッピングはクロスドメインのユーザー類似性を保持し、安定で収束する学習を実現できるだろうか？
• RQ3 デュアル転移学習と組み合わせた場合、オートエンコーダベースの特徴埋め込みはクロスドメイン推奨にどれくらい有効か？
• RQ4 性能向上を維持したまま、二つ以上のドメインへ拡張することは可能か？

主な発見

• DDTCDRは、book–movie、book–music、movie–musicのドメインペアにおいて、RMSE、MAE、Precision@5、Recall@5で一貫して著しく最先端のベースラインを上回る。
• 双方向デュアル転移学習は、単一ドメインモデルよりクロスドメイン推奨の改善をもたらし、クロスドメイン寄与が測定可能な利点を提供する。
• 実証的な収束が観察される：初期損失が高いにもかかわらず、数回の反復の後に訓練損失が安定化する（特に約10エポック後）。
• オートエンコーダのタイプの選択に対してモデルは堅牢で、AE、VAE、AAE、WAE、HVAEの間で性能の有意差は見られない。
• 方法は、クロスドメイン転移項を集約することにより複数ドメインへ拡張可能で、より広範なクロスドメイン推奨を実現する。
• 報告された実験では、より大きなドメイン（書籍と映画）でより大きな利益が観測され、小さなドメイン（音楽）ではそれほどでない。