[論文レビュー] Deep Collaborative Autoencoder for Recommender Systems: A Unified Framework for Explicit and Implicit Feedback.

Qibing Li, Xiaolin Zheng|arXiv (Cornell University)|Dec 25, 2017

Recommender Systems and Techniques参考文献 45被引用数 8

ひとこと要約

本稿では、非線形表現学習を用いて明示的および暗黙的フィードバックを統合的にモデル化する統合的深層学習フレームワーク、Deep Collaborative Autoencoder (DCAE) を提案する。三段階の事前学習、人気度ベースの誤差再重み付け、スパarsityに配慮したデータ拡張を統合することで、3つの実世界データセットにおいて最先端の性能を達成し、暗黙的設定における過学習を軽減しながら推薦精度を顕著に向上させた。

ABSTRACT

In recent years, deep neural networks have yielded state-of-the-art performance on several tasks. Although some recent works have focused on combining deep learning with recommendation, we highlight three issues of existing works. First, most works perform deep content feature learning and resort to matrix factorization, which cannot effectively model the highly complex user-item interaction function. Second, due to the difficulty on training deep neural networks, existing models utilize a shallow architecture, and thus limit the expressiveness potential of deep learning. Third, neural network models are easy to overfit on the implicit setting, because negative interactions are not taken into account. To tackle these issues, we present a novel recommender framework called Deep Collaborative Autoencoder (DCAE) for both explicit feedback and implicit feedback, which can effectively capture the relationship between interactions via its non-linear expressiveness. To optimize the deep architecture of DCAE, we develop a three-stage pre-training mechanism that combines supervised and unsupervised feature learning. Moreover, we propose a popularity-based error reweighting module and a sparsity-aware data-augmentation strategy for DCAE to prevent overfitting on the implicit setting. Extensive experiments on three real-world datasets demonstrate that DCAE can significantly advance the state-of-the-art.

研究の動機と目的

• 行列因子分解に依存するため、従来の深層学習モデルが複雑なユーザ・アイテム相互作用関数を捉えることのできないという制限を解消すること。
• 現在の推薦モデルにおける浅いアーキテクチャが原因で生じる表現力のボトルネックを克服すること。
• 負の相互作用が明示的にモデル化されていない暗黙的フィードバック設定における過学習を軽減すること。
• 単一の深層学習アーキテクチャ内で明示的および暗黙的フィードバックの両方を効果的に処理できる統合フレームワークを開発すること。

提案手法

• スタックドオートエンコーダーを用いて非線形ユーザおよびアイテム表現を学習するDeep Collaborative Autoencoder (DCAE)アーキテクチャを提案する。
• 明示的フィードバックにおける教師あり学習、非教師あり特徴学習、および共同最適化のためのファインチューニングを組み合わせた三段階の事前学習戦略を実装する。
• 人気のあるアイテムの損失を低減することで、暗黙的フィードバックにおける過学習を軽減する人気度ベースの誤差再重み付けモジュールを導入する。
• 人工的に負例の多様性を高めるためにスパarsityに配慮したデータ拡張技術を適用し、一般化性能を向上させる。
• ユーザおよびアイテムエンコーダーからの協調フィルタリング信号を用いて、統合埋め込み空間でユーザ・アイテム相互作用を再構築する。
• 適応的学習率と正則化を用いた誤差逆伝播によるエンドツーエンドの最適化により、収束性とロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 統合的深層学習フレームワークは、推薦システムにおいて明示的および暗黙的フィードバックの両方を効果的にモデル化できるか？
• RQ2 三段階の事前学習は、協調フィルタリングにおける深層オートエンコーダーの表現品質および収束性をどのように向上させるか？
• RQ3 人気度ベースの誤差再重み付けは、暗黙的フィードバックシナリオにおける過学習をどの程度軽減するか？
• RQ4 スパarsityに配慮したデータ拡張は、スパースなユーザ・アイテム相互作用行列におけるモデルの一般化性能をどのように向上させるか？
• RQ5 提案されたDCAEフレームワークは、実世界の推薦ベンチマークにおいて、既存の最先端モデルを上回る性能を発揮するか？

主な発見

• DCAEは、3つの実世界データセットにおいて、既存の最先端モデルを著しく上回る性能を達成し、優れた推薦精度を示した。
• 三段階の事前学習機構により、明示的および非教師あり信号を活用することで、モデルの収束性および表現品質が向上した。
• 人気度ベースの誤差再重み付けは、暗黙的フィードバック設定における人気アイテムの過学習を効果的に軽減し、一般化性能を向上させた。
• スパarsityに配慮したデータ拡張により、負例の多様性が向上し、より強固で安定した学習ダイナミクスが得られた。
• 統合されたDCAEフレームワークは、別個のモデルヘッドやアーキテクチャを必要とせず、明示的および暗黙的フィードバックの両方を効果的に処理できた。
• 実験結果から、複数の評価指標において一貫した改善が確認され、提案された各モジュールの単体および統合的有効性が裏付けられた。