[論文レビュー] Translational Recommender Networks.

Yi Tay, Anh Tuan Luu+1 more|arXiv (Cornell University)|Jul 17, 2017

Recommender Systems and Techniques参考文献 43被引用数 5

ひとこと要約

本稿では、注意メモリを備えた潜在的関係的注意メモリ（LRAM）モジュールを用いて、ユーザーとアイテム間の関係を適応的ベクトル空間の平行移動としてモデル化するニューラルアーキテクチャ、Translational Recommender Networks（TransRec）を提案する。この手法は、明示的なレーティングやアノテーションが不要であり、暗黙のフィードバックからのみ、感情、時間、属性といった隠れた関係的構造を明らかにすることで、推薦ベンチマークで最先端の性能を達成するとともに、解釈可能性を向上させる。

ABSTRACT

Representing relationships as translations in vector space lives at the heart of many neural embedding models such as word embeddings and knowledge graph embeddings. In this work, we study the connections of this translational principle with collaborative filtering algorithms. We propose Translational Recommender Networks ( extsc{TransRec}), a new attentive neural architecture that utilizes the translational principle to model the relationships between user and item pairs. Our model employs a neural attention mechanism over a \emph{Latent Relational Attentive Memory} (LRAM) module to learn the latent relations between user-item pairs that best explains the interaction. By exploiting adaptive user-item specific translations in vector space, our model also alleviates the geometric inflexibility problem of other metric learning algorithms while enabling greater modeling capability and fine-grained fitting of users and items in vector space. The proposed architecture not only demonstrates the state-of-the-art performance across multiple recommendation benchmarks but also boasts of improved interpretability. Qualitative studies over the LRAM module shows evidence that our proposed model is able to infer and encode explicit sentiment, temporal and attribute information despite being only trained on implicit feedback. As such, this ascertains the ability of extsc{TransRec} to uncover hidden relational structure within implicit datasets.

研究の動機と目的

• 自然言語および知識グラフ埋め込みからの平行移動原理を推薦システムにおける協調フィルタリングに統合すること。
• ユーザーとアイテムの相互作用をモデル化する際の、メトリクス学習アルゴリズムの幾何学的不柔軟性を緩和すること。
• 適応的平行移動を用いることで、ベクトル空間におけるユーザーおよびアイテムの表現のモデリング能力と細分化された適合性を向上させること。
• 暗黙のフィードバックからのみ、感情、時間、属性といった潜在的関係的要因をモデルが推論可能にするようにすることで、解釈可能性を向上させること。
• 多様な推薦ベンチマークで最先端の性能を達成するとともに、説明可能性を維持することを実証すること。

提案手法

• モデルは、ユーザーとアイテム間の潜在的関係を格納・取得するための潜在的関係的注意メモリ（LRAM）モジュールを採用する。
• 各ユーザー・アイテムペアに対して、最も関連性の高い関係を動的に選択するために、LRAM上に注目メカニズムを適用する。
• ユーザーおよびアイテムの表現は、ベクトル空間における適応的平行移動によって更新され、その平行移動ベクトルが潜在的関係を捉える。
• ユーザーおよびアイテム固有の平行移動ベクトルを学習することで、単なるドット積やコサイン類似度を超えたパーソナライズド関係をモデル化する。
• 明示的なレーティングやアノテーションが不要であり、暗黙のフィードバック信号を用いてエンドツーエンドで学習する。
• 注目メカニズムにより、感情や時間的傾向といった特定の関係的コンポーネントに焦点を当てる能力が得られ、これらの要因に対して明示的な監視がなくてもよい。

実験結果

リサーチクエスチョン

• RQ1 自然言語および知識グラフ埋め込みからの平行移動原理を、推薦システムにおける協調フィルタリングに効果的に適応できるか？
• RQ2 ベクトル空間における適応的かつユーザー・アイテム固有の平行移動は、固定されたメトリクス学習アプローチと比較して、モデリングの柔軟性と性能を向上させられるか？
• RQ3 注目メモリモジュールを備えたニューラルアーキテクチャは、暗黙のフィードバックからのみ、感情、時間、属性といった解釈可能な関係的要因を推論できるか？
• RQ4 提案されたモデルは、多様な推薦ベンチマークで最先端の性能を達成するとともに、説明可能性を維持できるか？
• RQ5 LRAMモジュールは、暗黙のデータセットに隠れた関係的構造をどれほど的確に捉え、表現できるか？

主な発見

• TransRecは、複数の推薦ベンチマークで最先端の性能を達成し、精度と一般化性能の両面で既存手法を上回っている。
• モデルは、明示的な感情、時間的要因、属性情報がLRAMモジュールに符号化されていることから、暗黙のフィードバックでの学習にもかかわらず、解釈可能性が向上していることが示された。
• 適応的平行移動の使用により、従来のメトリクス学習アルゴリズムの幾何学的不柔軟性が軽減され、ユーザーおよびアイテム表現のより細分化された学習が可能になった。
• LRAMモジュールの定性的分析から、時間的傾向やユーザー行動における感情の変化といった意味のある関係的パターンが捉えられていることが確認された。
• 注目メカニズムは、これらの要因について明示的な監視がなくても、意味のある潜在的関係に注目する能力をモデルが学習していることが示された。