[論文レビュー] Tensor Factorization via Matrix Factorization

Volodymyr Kuleshov, Arun Tejasvi Chaganty+1 more|arXiv (Cornell University)|Jan 29, 2015

Tensor decomposition and applications参考文献 28被引用数 45

ひとこと要約

本稿では、ランダム射影を用いてCPテンソル分解を行列因子分解に還元する、新しいテンソル因子分解手法を提案する。この手法により、安定的で最適化された行列アルゴリズムの利用が可能になる。O(log k)のランダムベクトルへのテンソルの射影によって、固有値ギャップへの感受性を回避し、合成データおよび実世界のデータセットにおいて最先端の精度を達成する。コミュニティ検出タスクでは15%の誤差低減、クラウドソーシングタスクでは8%の誤差低減を達成した。

ABSTRACT

Tensor factorization arises in many machine learning applications, such knowledge base modeling and parameter estimation in latent variable models. However, numerical methods for tensor factorization have not reached the level of maturity of matrix factorization methods. In this paper, we propose a new method for CP tensor factorization that uses random projections to reduce the problem to simultaneous matrix diagonalization. Our method is conceptually simple and also applies to non-orthogonal and asymmetric tensors of arbitrary order. We prove that a small number random projections essentially preserves the spectral information in the tensor, allowing us to remove the dependence on the eigengap that plagued earlier tensor-to-matrix reductions. Experimentally, our method outperforms existing tensor factorization methods on both simulated data and two real datasets.

研究の動機と目的

• 行列因子分解に比べて成熟した数値的手法がテンソル因子分解には不足していることに対処すること。
• 従来のテンソルから行列への還元手法が固有値ギャップに依存していたため、ノイズに強くないという問題を解消すること。
• テンソル問題に対して、確立された数値的に安定な行列因子分解アルゴリズムの利用を可能にすること。
• 使用する共同対角化アルゴリズムに依存しない、既存手法と同等の理論的精度保証を提供すること。
• 合成データおよび実データの両方において、逐次最小二乗法（ALS）およびテンソルパワー法に比べて、実験的に優れた性能を示すこと。

提案手法

• 3次テンソルをO(log k)のランダムベクトルに射影し、行列の集合を生成する。
• 射影された行列に対して同時に対角化を実行し、テンソルのランク-k要因を推定する。
• この手法は、直交的でも非直交的でも、非対称でも任意の次数のテンソルに適用可能である。
• ランダム射影によりスペクトル情報が保存され、固有値ギャップへの依存を回避できる。
• 射影ステップで推定された要因をランダムベクトルの代わりに使用するオプションのリファインメントステップを備える。
• 理論的分析により、誤差の上限がノイズεに比例し、共同対角化アルゴリズムに依存しないことが示された。

実験結果

リサーチクエスチョン

• RQ1 統計的精度を保持しつつ、テンソル因子分解を効果的に行列因子分解に還元できるか？
• RQ2 ランダム射影が、従来のテンソルから行列への還元手法に悩まされてきた固有値ギャップ依存性を解消できるか？
• RQ3 成熟した行列因子分解アルゴリズムを活用することで、テンソル問題における性能向上が可能か？
• RQ4 ALSやテンソルパワー法といった既存のテンソル因子分解手法と比較して、実際の性能はいかがなものか？
• RQ5 ノイズとテンソルランクの関数として、この手法の理論的誤差上限はどのようになるか？

主な発見

• 最近の手法と比較して、コミュニティ検出タスクで最大15%の誤差低減を達成した。
• クラウドソーシングデータセットでは最大8%の誤差低減を達成し、4つのデータセットのうち3つで最先端のEMベース推定器と同等またはそれを上回った。
• 理論的保証により、誤差上限がノイズεに比例し、共同対角化アルゴリズムに依存しないことが示された。
• O(log k)のランダム射影により固有値ギャップへの依存を回避し、従来の行列ベースのテンソル因子分解における主要な制限要因を解消した。
• EMのような手法とは異なり、局所最適解が実用上問題にならない。共同対角化サブルーチンの収束特性が良好であるためである。
• 実験的結果により、最適化された行列因子分解アルゴリズムを活用することで、精度と速度の両方の向上が得られることを確認した。