[論文レビュー] Multilayer tensor factorization with applications to recommender systems

Xuan Bi, Annie Qu+1 more|arXiv (Cornell University)|Nov 5, 2017

Tensor decomposition and applications被引用数 3

ひとこと要約

本稿では、ユーザー、アイテム、文脈的要因をネストされた潜在的構造を通じてモデル化する、文脈に配慮したレコメンデーションシステム向けの多層テンソル因子分解手法であるREM（Multilayers Recommendation Engine）を提案する。サブグループ間の依存関係と最大ブロック改善アルゴリズムを組み込むことで、REMはコールドスタート問題を効果的に解決し、1億1600万件の観測値を含む大規模データ上で、既存手法を上回る性能を発揮する。

ABSTRACT

Recommender systems have been widely adopted by electronic commerce and entertainment industries for individualized prediction and recommendation, which benefit consumers and improve business intelligence. In this article, we propose an innovative method, namely the recommendation engine of multilayers (REM), for tensor recommender systems. The proposed method utilizes the structure of a tensor response to integrate information from multiple modes, and creates an additional layer of nested latent factors to accommodate between-subjects dependency. One major advantage is that the proposed method is able to address the "cold-start" issue in the absence of information from new customers, new products or new contexts. Specifically, it provides more effective recommendations through sub-group information. To achieve scalable computation, we develop a new algorithm for the proposed method, which incorporates a maximum block improvement strategy into the cyclic blockwise-coordinate-descent algorithm. In theory, we investigate both algorithmic properties for global and local convergence, along with the asymptotic consistency of estimated parameters. Finally, the proposed method is applied in simulations and IRI marketing data with 116 million observations of product sales. Numerical studies demonstrate that the proposed method outperforms existing competitors in the literature.

研究の動機と目的

• 新規ユーザー、新規アイテム、または新規文脈が十分な履歴データを持たない場合に発生するコールドスタート問題を解消すること。
• 複数のモードのユーザー、アイテム、文脈的情報を統合できるスケーラブルで文脈に配慮したテンソル因子分解手法を開発すること。
• 被験者間の依存関係をネストされた潜在的要因構造によってモデル化し、新規またはスパースな被験者に対するレコメンデーション精度を向上させること。
• サイクル的ブロック座標降下フレームワーク内での新規最大ブロック改善戦略により、アルゴリズムのスケーラビリティと収束性を保証すること。
• グローバルおよびローカル収束、パラメータ推定の漸近的一貫性に関する理論的保証を確立すること。

提案手法

• 本手法は、ユーザー、アイテム、文脈間の階層的依存関係を捉えるために、ネストされた潜在的要因を有する多層構造としてテンソル応答をモデル化する。
• スケーラブルな計算を実現するため、サイクル的ブロックワイズ座標降下に基づく非凸最適化フレームワークを採用し、最大ブロック改善戦略を強化する。
• マルチモーダルデータ（例：ユーザー、アイテム、時間、場所）を活用して欠損値を予測するテンソル補完アプローチをモデルに組み込む。
• モデルの複雑さを制御し、理論的収束速度を導出するために、ヘリンジャー距離に基づくエントロピー分析を用いる。
• 高次元テンソル（3次元を超える）を処理できるように設計されており、複数の文脈変数の統合を可能にする。
• 理論的分析には、グローバルおよびローカル収束、漸近的一致性、正則性条件の下での最適収束速度の証明が含まれる。

実験結果

リサーチクエスチョン

• RQ1 サブグループ情報を利用することで、多層テンソル因子分解モデルは、レコメンデーションシステムにおけるコールドスタート問題を効果的に軽減できるか？
• RQ2 提案された最大ブロック改善戦略は、非凸テンソル最適化における収束性とスケーラビリティをどのように向上させるか？
• RQ3 提案されたアルゴリズムの理論的収束挙動はどのようなものか？また、パラメータ推定において漸近的一致性を達成するか？
• RQ4 高次元的かつスパースなテンソル構造を持つ大規模な実世界データにおいて、このモデルはどのように性能を発揮するか？
• RQ5 予測精度とロバスト性の観点から、従来の行列およびテンソルベースのレコメンデーションシステムを上回ることができるか？

主な発見

• 提案されたREM手法は、シミュレーション研究および1億1600万件の観測値を含む実世界のIRIマーケティングデータにおいて、既存の競合手法を顕著に上回る性能を発揮した。
• サブグループ情報の活用により、コールドスタート問題が効果的に軽減され、新規ユーザー、新規アイテム、または新規文脈に対しても正確なレコメンデーションが可能となった。
• 理論的分析により、最適化アルゴリズムのグローバルおよびローカル収束、および推定パラメータの漸近的一致性が確認された。
• ある正則性条件下で、最適収束速度は $ \varepsilon_{|\Omega|} \sim |\Omega|^{-1/2} $ として導出され、強力な統計的効率性を示した。
• 最大ブロック改善戦略により、計算上のスケーラビリティが向上し、大規模テンソルにおける効率的な最適化が可能になった。
• 従来の2モードシステムを超える複数の文脈変数の統合により、高次元テンソルにおいて優れた性能を発揮した。