[論文レビュー] Neural Tensor Factorization

Xian Wu, Baoxu Shi+3 more|arXiv (Cornell University)|Feb 13, 2018

Tensor decomposition and applications参考文献 37被引用数 11

ひとこと要約

本稿では、LSTMネットワークを統合してユーザー・アイテムの相互作用における時間的ダイナミクスを捉え、潜在要因間の非線形相互作用を多層パーセプトロンを用いてモデル化する深層学習モデルであるニューラルテンソル因子分解（NTF）を提案する。NTFは、動的関係データにおけるレーティング予測およびリンク予測において、RRN や NCF といった最先端手法を著しく上回る性能を発揮する。

ABSTRACT

Neural collaborative filtering (NCF) and recurrent recommender systems (RRN) have been successful in modeling user-item relational data. However, they are also limited in their assumption of static or sequential modeling of relational data as they do not account for evolving users' preference over time as well as changes in the underlying factors that drive the change in user-item relationship over time. We address these limitations by proposing a Neural Tensor Factorization (NTF) model for predictive tasks on dynamic relational data. The NTF model generalizes conventional tensor factorization from two perspectives: First, it leverages the long short-term memory architecture to characterize the multi-dimensional temporal interactions on relational data. Second, it incorporates the multi-layer perceptron structure for learning the non-linearities between different latent factors. Our extensive experiments demonstrate the significant improvement in rating prediction and link prediction on dynamic relational data by our NTF model over both neural network based factorization models and other traditional methods.

研究の動機と目的

• 静的および順序付きモデルが動的関係データにおける進化するユーザー嗜好や時間的に変化するアイテム認識を捉えることの限界を解決すること。
• 連続する時間スロット間の独立性を仮定する従来のテンソル因子分解の静的時間的仮定を克服すること。
• 固定長のシーケンスではなく、レーティング間の時間間隔をモデル化することで、再帰的レコメンデーションネットワーク（RRN）を改善すること。
• 従来の因子分解における線形ドット積を、潜在要因の連結入力を入力として受ける非線形MLPに置き換えることで、潜在要因間の複雑な相互作用をよりよく捉えること。
• 時間、およびその他の多次元関係データを完全に活用する一般化可能なフレームワークを構築すること。

提案手法

• 時間的進化を符号化するため、動的ユーザー・アイテム相互作用を三方向テンソル（ユーザー、アイテム、時間）として表現する。
• 前回の時間スロットで学習された潜在埋め込みを処理することで、LSTMネットワークを用いて時間スロット間の順序的依存関係をモデル化する。
• テンソル因子分解における標準的なドット積を、連結された潜在要因を入力とする多層パーセプトロン（MLP）に置き換えることで、非線形相互作用をモデル化する。
• バックプロパゲーションを用いてエンドツーエンドで学習し、レーティング予測およびリンク予測の目的関数を最適化する。
• 潜在要因に時間的滑らかさ制約を統合し、時間経過に伴う徐々な進化を保証する。
• LSTMおよびMLP部への入力前に、ユーザーおよびアイテムの埋め込み層を用いて潜在表現を初期化する。

実験結果

リサーチクエスチョン

• RQ1 深層学習に基づくテンソル因子分解モデルは、動的関係データにおける時間的変化するユーザー嗜好およびアイテム認識を効果的に捉えることができるか？
• RQ2 テンソル因子分解における線形ドット積を非線形MLPに置き換えることで、レーティング予測およびリンク予測タスクにおける予測性能が向上するか？
• RQ3 NTFモデルは、RRN や NCF といった最先端モデルと比較して、時間的ダイナミクスおよびシーケンスのばらつきをどのように処理するか？
• RQ4 テンソル因子分解とLSTMを統合することで、ユーザー・アイテム相互作用における順序的依存関係のモデル化がどの程度向上するか？
• RQ5 提案されたモデルは、レーティング予測やリンク予測タスクを含む、さまざまな種類の動的関係データに対して一般化可能か？

主な発見

• Netflixデータセットにおいて、NTFはNCFおよびRRNと比較してレーティング予測において顕著な向上を示し、動的ユーザー・アイテム相互作用に対する優れた性能を実証した。
• Githubデータセットでは、NTFが既存のベースラインをリンク予測において上回り、進化する関係的パターンのモデル化における有効性を示した。
• アブレーションスタディの結果、ドット積をMLPに置き換えることで性能が明確に向上し、非線形相互作用をモデル化する必要性が裏付けられた。
• 時間順に整列された潜在表現を処理するLSTMの使用により、RRNのような固定シーケンスアプローチに比べ、時間的依存関係のモデル化がより優れていた。
• MLPではなくドット積を使用した場合、モデルの性能は最適でなく、線形相互作用では複雑な関係的ダイナミクスを捉えるには不十分であることが確認された。
• NTFは、アワードの影響やトレンドの変化に伴う変化といった、進化するユーザー嗜好およびアイテム認識を、潜在空間における滑らかな時間的軌道を学習することで効果的に捉えた。