[論文レビュー] Distributed Flexible Nonlinear Tensor Factorization

Shandian Zhe, Kai Zhang+5 more|ArXiv.org|Apr 27, 2016

Tensor decomposition and applications参考文献 24被引用数 3

ひとこと要約

本稿では、Kronecker積構造の計算コストを回避するためにガウス過程事前分布とカーネルベースの共分散を用いることで、計算的に高価なKronecker積構造を避ける分散型で柔軟な非線形テンソル因子分解モデルを提案する。トレーニングに意味のあるテンソルエントリ（特に非ゼロおよびバランスの取れたゼロエントリ）の任意選択を可能にする。キーバリュー不要のMapReduceフレームワークにおいて、完全に分離・並列化された推論を可能にするタイトな変分証拠下限（ELBO）を導入し、大規模なスパーステンソルにおいて最先端の予測性能とほぼ線形のスケーラビリティを達成する。ロジスティック回帰やSVMに比べてCTR予測で20%の向上を達成する。

ABSTRACT

Tensor factorization is a powerful tool to analyse multi-way data. Compared with traditional multi-linear methods, nonlinear tensor factorization models are capable of capturing more complex relationships in the data. However, they are computationally expensive and may suffer severe learning bias in case of extreme data sparsity. To overcome these limitations, in this paper we propose a distributed, flexible nonlinear tensor factorization model. Our model can effectively avoid the expensive computations and structural restrictions of the Kronecker-product in existing TGP formulations, allowing an arbitrary subset of tensorial entries to be selected to contribute to the training. At the same time, we derive a tractable and tight variational evidence lower bound (ELBO) that enables highly decoupled, parallel computations and high-quality inference. Based on the new bound, we develop a distributed inference algorithm in the MapReduce framework, which is key-value-free and can fully exploit the memory cache mechanism in fast MapReduce systems such as SPARK. Experimental results fully demonstrate the advantages of our method over several state-of-the-art approaches, in terms of both predictive performance and computational efficiency. Moreover, our approach shows a promising potential in the application of Click-Through-Rate (CTR) prediction for online advertising.

研究の動機と目的

• 完全テンソルモデリングとKronecker積構造による計算非効率性と学習バイアスを解消すること。
• 特に意味のある非ゼロエントリやバランスの取れたゼロエントリを含む、任意のテンソルエントリのサブセットを学習に寄与可能にする柔軟なトレーニングを可能にすること。
• 逐次的E-M更新を必要とせず、完全に分離・並列化された推論を可能にする、実行可能でタイトな変分証拠下限（ELBO）の開発。
• キーバリューを排除した分散型推論アルゴリズムをMapReduceフレームワークに設計し、メモリキャッシュを活用して高価なデータシャッフルを回避すること。
• 特にCTR予測のような大規模スパーステンソル応用において、予測精度と計算効率の両面で優れた性能を示すこと。

提案手法

• 各モードからの潜在要因を連結することで入力を構成する、テンソルエントリにガウス過程事前分布を用いた非線形テンソル因子分解モデルを提案。
• Kronecker積共分散構造を必要とせず、複雑な非線形相互作用をカーネル関数でモデル化。
• 関数の微分と凸共役を用いてタイトな変分ELBOを導出。最適な変分事後分布を包含し、効率的かつ並列的な最適化を可能にする。
• キーバリューを生成せず、グローバル勾配ベクトルのみを計算・送信するMapReduceフレームワークにおける分散推論アルゴリズムを開発。
• SPARKシステムを活用してメモリキャッシュ機構を最大限に活用し、データシャッフルに起因するディスクI/Oボトルネックを回避。
• ユーザー、広告、パブリッシャー、ページセクションの相互作用から構築された4モードテンソルを用いてCTR予測にモデルを適用。クリックと非クリックのバランスの取れたサンプリングを実施。

実験結果

リサーチクエスチョン

• RQ1 非線形テンソル因子分解モデルは、Kronecker積共分散の計算負荷を回避しつつも、高い予測精度を維持できるか？
• RQ2 スパースデータにおける学習バイアスを低減するために、意味のあるテンソルエントリのみを含む柔軟なトレーニングメカニズムをどのように設計できるか？
• RQ3 逐次的E-M更新を必要とせず、完全に並列で分離された推論を可能にする、タイトで実行可能な変分下限を導出できるか？
• RQ4 キーバリュー不要のMapReduceアルゴリズムは、分散テンソル因子分解におけるスケーラビリティ向上とI/Oオーバーヘッド低減にどの程度寄与するか？
• RQ5 提案手法は、ユーザープロフィールや広告属性といった補助特徴を組み込まずとも、実世界のスパーステンソルタスク（例：CTR予測）において最先端の手法に比べ優れた性能を達成するか？

主な発見

• 提案モデルは、すべての3つのベンチマークデータセット（ACC、DBLP、NELL）においてGigaTensor、DinTucker、InfTuckerExを上回る予測精度を達成。CTR予測では平均でAUCが20.7%向上。
• DBLPデータセットでは、1イテレーションあたりの平均実行時間が1.45分であり、GigaTensor（15.4分）やDinTucker（20.5分）に比べ顕著に高速。
• キーバリュー不要の勾配伝送とSPARKにおけるメモリキャッシュ活用のおかげで、計算ノード間でほぼ線形のスケーラビリティを示した。
• ユーザープロフィールや広告属性といった補助特徴を含めない状態でも、ロジスティック回帰や線形SVMに比べAUCで20%の向上を達成。
• タイトなELBOの導出により、逐次的E-M更新を必要とせず、分散ノード間で効率的な並列最適化を可能にする高品質な推論が実現。
• 非ゼロエントリとバランスの取れたゼロエントリの選択的含め込みにより、極度のデータスパarsity下での学習バイアスを効果的に軽減。