[論文レビュー] A Sequential Embedding Approach for Item Recommendation with Heterogeneous Attributes

Kuan Liu, Xing Shi+1 more|arXiv (Cornell University)|May 28, 2018

Recommender Systems and Techniques参考文献 7被引用数 5

ひとこと要約

本稿では、階層的属性結合と共有出力埋め込みを用いて、スパースで可変長の属性とアイテム系列を統合する新しい順序付き埋め込みモデルHA-RNNを提案する。このモデルは、系列的依存関係と属性の豊富さを活用することで、大規模データセット上での最先端手法を著しく上回る性能を達成する。

ABSTRACT

Attributes, such as metadata and profile, carry useful information which in principle can help improve accuracy in recommender systems. However, existing approaches have difficulty in fully leveraging attribute information due to practical challenges such as heterogeneity and sparseness. These approaches also fail to combine recurrent neural networks which have recently shown effectiveness in item recommendations in applications such as video and music browsing. To overcome the challenges and to harvest the advantages of sequence models, we present a novel approach, Heterogeneous Attribute Recurrent Neural Networks (HA-RNN), which incorporates heterogeneous attributes and captures sequential dependencies in extit{both} items and attributes. HA-RNN extends recurrent neural networks with 1) a hierarchical attribute combination input layer and 2) an output attribute embedding layer. We conduct extensive experiments on two large-scale datasets. The new approach show significant improvements over the state-of-the-art models. Our ablation experiments demonstrate the effectiveness of the two components to address heterogeneous attribute challenges including variable lengths and attribute sparseness. We further investigate why sequence modeling works well by conducting exploratory studies and show sequence models are more effective when data scale increases.

研究の動機と目的

• 推薦システムにおける異種的でスパースで可変長の属性の課題に対処すること。
• アイテムの順序付き相互作用と属性埋め込みを統合して、推薦精度を向上させること。
• 従来の因子分解モデルがユーザー、アイテム、属性間の複雑で非線形な依存関係を捉えきれないという限界を克服すること。
• スケールが大きい状況において、系列モデリングがアイテム頻度を超えた利点を提供するかどうかを調査すること。

提案手法

• 可変長の属性を処理するために、属性タイプごとの埋め込みをスタックする階層的属性結合入力層をHA-RNNが採用する。
• 入力と出力の埋め込みパラメータを結びつけることで正則化を行う共有出力属性埋め込み層を導入し、スパースな属性に対して過学習を低減する。
• ユーザー・アイテム相互作用系列の系列的依存関係を捉えるために、双方向RNNを用いる。
• ユーザー行動と属性の意味的側面の両方をモデル化するため、アイテムレベルと属性レベルの埋め込みを統合学習フレームワークで統合する。
• 深層学習による柔軟で非線形な関数マッピングを可能にし、行列因子分解の線形仮定を改善する。
• 実験では、部分列抽出によるデータ拡張を用い、系列構造とアイテム頻度の影響を検証する。

実験結果

リサーチクエスチョン

• RQ1 アイテムの順序付き相互作用を組み込むことで、アイテム頻度を超えて推薦性能が向上するか？
• RQ2 特に可変長かつスパースな属性が、モデル性能にどのように影響するか？
• RQ3 入力層と出力層間の共有埋め込みパラメータが、スパースな属性特徴を効果的に正則化できるか？
• RQ4 データスケールが大きくなるにつれて、系列モデリングによる性能向上は減少するか、それとも増幅するか？
• RQ5 系列モデリングの利点は、小規模データセットに起因するものなのか、それともデータサイズに比例してスケーリングするのか？

主な発見

• HA-RNNは、2つの大規模データセットにおいて最先端のモデルを著しく上回る性能を達成し、属性と系列モデリングを統合する有効性を示した。
• アブレーションスタディにより、階層的属性結合と共有出力埋め込みの両方が、属性の異種性とスパarsityの処理に不可欠であることが確認された。
• 部分列抽出の実験から、アイテム頻度が保たれてもアイテム系列を破壊すると性能が低下することが判明し、系列構造が頻度以外の独自の情報を提供することが証明された。
• データスケールが大きくなるにつれて、HA-RNNの性能は着実に向上するが、非系列モデル（例：NHMF）は同様の向上を示さないため、系列モデリングはより多くのデータから恩恵を受けることが示唆された。
• 結果から、系列モデルは暗黙のフィードバックを伴う大規模推薦システムにおいて特に適していることが示唆された。