[論文レビュー] Tensor Decompositions via Two-Mode Higher-Order SVD (HOSVD)

Miaoyan Wang, Yun S. Song|arXiv (Cornell University)|Dec 12, 2016

Tensor decomposition and applications参考文献 19被引用数 12

ひとこと要約

本稿では、対称的かつほぼ直交的に分解可能なテンソルに対して、ノイズ耐性と推定精度を向上させる、二モードの高次特異値分解（HOSVD）に基づく新しいテンソル分解手法を提案する。テンソルを二つのモードに沿って展開し、得られた行列のSVDにほぼランク1の制約を課すことで、ノイズ耐性が $ O(d^{-(k-2)/2}) $ に達し、既存手法（たとえばテンソルパワー法）の $ O(d^{-(k-1)/2}) $ を上回る。この手法は、さまざまなノイズ分布や高次テンソルに対しても安定性を示す。

ABSTRACT

Tensor decompositions have rich applications in statistics and machine learning, and developing efficient, accurate algorithms for the problem has received much attention recently. Here, we present a new method built on Kruskal's uniqueness theorem to decompose symmetric, nearly orthogonally decomposable tensors. Unlike the classical higher-order singular value decomposition which unfolds a tensor along a single mode, we consider unfoldings along two modes and use rank-1 constraints to characterize the underlying components. This tensor decomposition method provably handles a greater level of noise compared to previous methods and achieves a high estimation accuracy. Numerical results demonstrate that our algorithm is robust to various noise distributions and that it performs especially favorably as the order increases.

研究の動機と目的

• 既存手法と比較して、より高いノイズ耐性を持つ、より正確なテンソル分解アルゴリズムの開発。
• 3次テンソルを超えて、任意の $ k \geq 3 $ の次数にまでテンソル分解手法を拡張すること。
• Kruskalの一意性定理と低ランク行列構造を活用し、ノイズなしの場合の正確な回復とノイズ下での安定的推定を保証すること。
• 既存手法（たとえばテンソルパワー法（TPM）や直交的共同対角化（OJD））のノイズ耐性を改善すること。
• 非対称テンソルにも適用可能な一般枠組みを提供すること。非直交ケースにはホワイトニングを用いる。

提案手法

• テンソルを二つのモードに沿って展開し、行列を形成することで、テンソル分解問題を行列分解問題に変換する。
• 展開された行列の左特異ベクトルに、ほぼランク1の制約を課し、それらを基礎となる成分のクロネッカー平方 $ \bm{x}^{\otimes 2} $ としてモデル化する。
• ほぼランク1行列の主要固有ベクトルを用いて、元のテンソル成分 $ \bm{u}_i $ を推定する。
• 行列のSVDと摂動解析を用いて、ノイズ下での推定誤差を境界づける。スペクトルノルムと特異ベクトルのずれを活用する。
• 非対称テンソルへの拡張は、コア計算ステップで固有値分解をSVDに置き換えることで実現する。
• 理論的分析では、Kruskalの定理に基づき、退化した固有値が存在しても成分の同定可能性を保証する。

実験結果

リサーチクエスチョン

• RQ1 既存のアルゴリズム（たとえばテンソルパワー法）よりも高いノイズ耐性を達成できるテンソル分解手法は存在するか？
• RQ2 提案手法の性能は、テンソル次数 $ k $ の増加に伴いどのように変化するか？
• RQ3 二モードHOSVDフレームワークは、非対称および非直交テンソルに一般化可能か？
• RQ4 ノイズ下での推定誤差の理論的境界は何か？ また、既存手法と比較してどうなるか？
• RQ5 本手法は、重尾分布や非ガウス分布を含む多様なノイズ分布に対しても高い精度を維持するか？

主な発見

• 提案手法はノイズ耐性が $ O(d^{-(k-2)/2}) $ を達成し、テンソルパワー法の $ O(d^{-(k-1)/2}) $ を厳密に上回る。
• 各成分 $ \bm{u}_i $ の推定誤差は $ \operatorname{Loss}(\bm{\widehat{u}}_i, \bm{u}_i) \leq 2\varepsilon / \lambda_i + o(\varepsilon) $ で境界づけられ、ノイズ下でも高い精度を示す。
• 残差テンソルノルムは $ \|\Delta\mathcal{\widetilde{T}}\|_{\sigma} \leq C\varepsilon + o(\varepsilon) $ で境界づけられ、安定した収束を確認する。
• 数値結果から、本手法はさまざまなノイズ分布に対して安定であり、テンソル次数が高くなるほど特に優れた性能を示す。
• 実行時間ベンチマークでは、ランクおよび次元に対して部分線形にスケーリングされ、OJDを上回り、TPMと同等の性能を示す。
• ノイズなしの場合、Kruskalの定理による一意性のおかげで正確な回復が達成される。