[論文レビュー] A Sharp Blockwise Tensor Perturbation Bound for Orthogonal Iteration

Yuetian Luo, Garvesh Raskutti+2 more|arXiv (Cornell University)|Aug 6, 2020

Tensor decomposition and applications参考文献 124被引用数 8

ひとこと要約

本稿は、一般のノイズ下でのテンソル分解におけるHigher-Order Orthogonal Iteration (HOOI)アルゴリズムの鋭い決定的ブロックワイズ摂動バウンドを確立する。一般のノイズ下でも、テンソル再構成誤差およびモード-$k$特異部分空間推定に対してタイトな保証を提供し、HOOIがミニマックス最適であり、1ステップHOOIが計算コストを低減しつつ最適な性能を達成することを示す。

ABSTRACT

In this paper, we develop novel perturbation bounds for the high-order orthogonal iteration (HOOI) [DLDMV00b]. Under mild regularity conditions, we establish blockwise tensor perturbation bounds for HOOI with guarantees for both tensor reconstruction in Hilbert-Schmidt norm $\|\widehat{\bcT} - \bcT \|_{ HS}$ and mode-$k$ singular subspace estimation in Schatten-$q$ norm $\| \sin Θ(\widehat{\U}_k, \U_k) \|_q$ for any $q \geq 1$. We show the upper bounds of mode-$k$ singular subspace estimation are unilateral and converge linearly to a quantity characterized by blockwise errors of the perturbation and signal strength. For the tensor reconstruction error bound, we express the bound through a simple quantity $ξ$, which depends only on perturbation and the multilinear rank of the underlying signal. Rate matching deterministic lower bound for tensor reconstruction, which demonstrates the optimality of HOOI, is also provided. Furthermore, we prove that one-step HOOI (i.e., HOOI with only a single iteration) is also optimal in terms of tensor reconstruction and can be used to lower the computational cost. The perturbation results are also extended to the case that only partial modes of $\bcT$ have low-rank structure. We support our theoretical results by extensive numerical studies. Finally, we apply the novel perturbation bounds of HOOI on two applications, tensor denoising and tensor co-clustering, from machine learning and statistics, which demonstrates the superiority of the new perturbation results.

研究の動機と目的

• 一般のシグナル＋ノイズモデル下でのテンソル分解におけるHOOIの非漸近的・決定的摂動バウンドの開発。
• ヒルベルト＝シュミットノルムにおけるテンソル再構成誤差およびスチャッテン-$q$ノルムにおけるモード-$k$特異部分空間推定誤差のタイトなバウンドの確立。
• 再構成誤差に関する決定的下界と一致させることで、HOOIがテンソル再構成においてミニマックス最適であることを証明。
• 1ステップHOOIが最適な再構成誤差を達成できることを示し、計算コストの低減を実現。
• 部分的な低ランクテンソル構造へと結果を拡張し、テンソルノイズ除去および共同クラスタリングへの応用を通じて検証。

提案手法

• 交互に繰り返されるHOOI反復における誤差伝播を分析することで、ブロックワイズ摂動バウンドを導出。
• 再構成誤差を特徴付ける重要な量$\xi$を導入し、これは摂動と多次元ランクにのみ依存する。
• モード-$k$部分空間推定誤差が、ブロックワイズ摂動と信号強度に依存する項へと単一方向に収束することを確立。
• テンソルに適応したWedin型摂動理論を用いて、任意の$q \geq 1$に対して$\|\sin\Theta(\widehat{\mathbf{U}}_k, \mathbf{U}_k)\|_q$をバウンド。
• 1ステップHOOIが完全なHOOIと同一の最適レートを達成できることを証明し、計算コストの削減を可能に。
• テンソルの一部のモードにのみ低ランク構造がある場合に対しても結果を拡張し、理論的保証を維持。

実験結果

リサーチクエスチョン

• RQ1 一般のノイズ下でのテンソル再構成におけるHOOIの最もタイトな決定的摂動バウンドは何か？
• RQ2 ブロックワイズ摂動下でのモード-$k$特異部分空間推定誤差はどのように振る舞い、一様にバウンド可能か？
• RQ3 1ステップHOOIはミニマックス最適な再構成誤差を達成可能か？計算コストへの影響は？
• RQ4 部分的な低ランクテンソル構造に適用可能な摂動バウンドは拡張可能か？
• RQ5 理論的バウンドは、テンソルノイズ除去や共同クラスタリングといった実用的応用においてどのように性能を発揮するか？

主な発見

• テンソル再構成誤差は$\|\widehat{\mathbfcal{T}} - \mathbfcal{T}\|_{\rm HS} \leq C \xi$でバウンドされ、ここで$\xi$は摂動と多次元ランクにのみ依存する。
• モード-$k$特異部分空間推定誤差は、ブロックワイズ摂動と信号強度に比例する量へと線形に収束する。
• 上界と一致する決定的下界が導出され、HOOIがテンソル再構成においてミニマックス最適であることが証明された。
• 1ステップHOOIは完全なHOOIと同一の最適再構成誤差レートを達成でき、顕著な計算コスト削減が可能である。
• 摂動バウンドは部分的低ランクテンソルへと拡張され、理論的有効性が維持された。
• 数値的実験およびテンソルノイズ除去と共同クラスタリングへの応用を通じて、新しいバウンドの優位性と実用的妥当性が確認された。