[論文レビュー] A Simple but Hard-to-Beat Baseline for Session-based Recommendations.

Fajie Yuan, Alexandros Karatzoglou+3 more|arXiv (Cornell University)|Aug 15, 2018

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 9

ひとこと要約

本論文は、拡張畳み込み（dilated convolutions）と残差ブロックを用いて、短期的および長期的両方のアイテム系列依存関係を捉える、シンプルだが非常に効果的なCNNベースのモデルを提案する。モデルは短縮されたトレーニング時間で最先端の精度を達成し、今後の研究の強固なベースラインを確立する。

ABSTRACT

Convolutional Neural Networks (CNNs) models have been recently introduced in the domain of top-$N$ session-based recommendations. An ordered collection of past items the user has interacted with in a session (or sequence) are embedded into a 2-dimensional latent matrix, and treated as an image. The convolution and pooling operations are then applied to the mapped item embeddings. In this paper, we first examine the typical session-based CNN recommender and show that both the generative model and network architecture are suboptimal when modeling long-range dependencies in the item sequence. To address the issues, we propose a simple, but very effective generative model that is capable of learning high-level representation from both short- and long-range dependencies. The network architecture of the proposed model is formed of a stack of holed convolutional layers, which can efficiently increase the receptive fields without relying on the pooling operation. Another contribution is the effective use of residual block structure in recommender systems, which can ease the optimization for much deeper networks. The proposed generative model attains state-of-the-art accuracy with less training time in the session-based recommendation task. It accordingly can be used as a powerful session-based recommendation baseline to beat in future, especially when there are long sequences of user feedback.

研究の動機と目的

• 既存のCNNベースのセッション推薦モデルがユーザー行動系列における長期的依存関係をモデル化する点で抱える限界を是正すること。
• 順序付きユーザー行動における表現学習を改善するための生成モデルおよびネットワークアーキテクチャの最適化。
• トレーニング時間の短縮を図りながら、推薦精度を維持または向上させること。
• 長時間のセッション系列においても優れた性能を示す、強力で実装が容易なベースラインを構築すること。

提案手法

• アイテム系列を2次元潜在行列表現として扱い、畳み込み処理に際して画像と同様に処理する。
• ダウンサンプリングを行わずに受容 field を拡大できるように、拡張（アトロス）畳み込み層を採用し、長期的依存関係のモデル化を効果的に行う。
• ネットワークアーキテクチャに残差ブロックを統合し、より深いネットワークの学習を促進し、最適化を改善する。
• 生成モデルは、過去の相互作用系列を用いて、次のアイテムを予測するように学習する。
• 最大プーリング操作を避けるべく、空間解像度を維持し、系列パターンを捉えるために拡張畳み込みに依存する。
• アイテム埋め込みはトレーニング可能な埋め込み層を通じて学習され、2次元畳み込みスタックの入力として構築される。

実験結果

リサーチクエスチョン

• RQ1 拡張畳み込みを用いたより単純なCNNアーキテクチャは、既存のモデルを上回る性能を発揮できるか？
• RQ2 標準的な畳み込みやプーリング層と比較して、拡張畳み込みはユーザーのセッション系列における長期的依存関係をどの程度効果的にモデル化できるか？
• RQ3 残差ブロックは、深層セッション推薦ネットワークにおける学習安定性とパフォーマンス向上にどの程度寄与するか？
• RQ4 提案手法は、先行手法と比較して、短縮されたトレーニング時間で最先端の精度を達成できるか？

主な発見

• 提案モデルは、標準的なセッションベースの推薦ベンチマークで最先端の精度を達成した。
• 従来のCNNベースのモデルと比較して、トレーニング時間を顕著に短縮したが、性能は維持または向上した。
• 拡張畳み込みの活用により、プーリング操作に依存せずに長期的依存関係を効果的にモデル化できた。
• 残差ブロックの統合により、最適化とパフォーマンスが向上した深いネットワークアーキテクチャの構築が可能になった。
• 長時間のユーザーのセッション系列において特に顕著な性能を示し、実装が簡単で強く、打ち負かしがたいベースラインを確立した。