[論文レビュー] Perturbation Bounds for Orthogonally Decomposable Tensors and Their Applications in High Dimensional Data Analysis.

Arnab Auddy, Ming Yuan|arXiv (Cornell University)|Jul 17, 2020

Tensor decomposition and applications参考文献 35被引用数 5

ひとこと要約

本稿は、直交分解可能（odec）テンソルにおける特異値および特異ベクトルの決定的摂動バウンドを確立し、摂動が各特異成分に独立して作用することを示している。行列とは異なり、特異値と特異ベクトルが相互に干渉するのとは対照的である。これらのバウンドは、テンソルSVD、テンソル回帰、および潜在変数モデルの解析を統一し、高次元データ設定において新たな知見を明らかにする。

ABSTRACT

We develop deterministic perturbation bounds for singular values and vectors of orthogonally decomposable tensors, in a spirit similar to classical results for matrices. Our bounds exhibit intriguing differences between matrices and higher-order tensors. Most notably, they indicate that for higher-order tensors perturbation affects each singular value/vector in isolation. In particular, its effect on a singular vector does not depend on the multiplicity of its corresponding singular value or its distance from other singular values. Our results can be readily applied and provide a unified treatment to many different problems involving higher-order orthogonally decomposable tensors. In particular, we illustrate the implications of our bounds through three connected yet seemingly different high dimensional data analysis tasks: tensor SVD, tensor regression and estimation of latent variable models, leading to new insights in each of these settings.

研究の動機と目的

• 高次元テンソルにおける特異値および特異ベクトルの厳密な決定的摂動バウンドを構築し、古典的な行列の結果を拡張すること。
• 行列とテンソルの摂動挙動の根本的な相違、特に特異ベクトルの感度に関する差異を特定すること。
• 直交分解可能テンソルを含む多様な高次元データ問題の解析を統一すること。
• テンソルSVD、テンソル回帰、および潜在変数モデル推定における新しい知見を可能にする理論的基盤を提供すること。

提案手法

• スペクトルノルムおよびテンソル構造を用いて、直交分解可能テンソルにおける特異値および特異ベクトルの摂動に対する決定的上界を導出する。
• 直交分解可能性の性質を活用し、各特異成分の影響を分離することで、独立した解析を可能にする。
• ノイズが低ランクテンソル近似に与える影響を分析することにより、テンソルSVDへの応用を行う。
• 測定ノイズが係数推定に与える影響を定量化することにより、フレームワークをテンソル回帰に拡張する。
• モデル不適合性や標本ノイズ下での潜在変数モデル推定器のロバスト性を、これらのバウンドを用いて評価する。
• 特異ベクトルの摂動が、特異値の重複度やスペクトルギャップに依存しないことが示され、行列理論とは顕著な差異を示す。

実験結果

リサーチクエスチョン

• RQ1 高次元テンソルにおける摂動が特異値および特異ベクトルに与える影響は、行列と比べてどのように異なるか？
• RQ2 各特異成分への影響を分離できる形で、テンソルの摂動バウンドを導出できるか？
• RQ3 これらのバウンドが、テンソルSVD、テンソル回帰、および潜在変数モデルの解析をどの程度統一できるか？
• RQ4 特異値の重複度や他の特異値からの距離が、テンソルにおけるその対応する特異ベクトルの摂動に影響を与えるか？
• RQ5 これらのバウンドが、高次元テンソルデータにおける統計的推定に及ぼす影響は何か？

主な発見

• 高次元テンソルにおける特異ベクトルの摂動は、特異値の重複度や他の特異値からの距離に依存しない。これは行列理論とは顕著な差異である。
• バウンドは、odecテンソルにおける各特異値および特異ベクトルが、隣接成分の影響を受けることなく独立して影響を受けることを示している。
• ノイズ下でもテンソルSVD推定がロバストであることが示され、誤差バウンドは摂動のスペクトルノルムに比例してスケーリングされる。
• テンソル回帰推定器も同様の分離性に起因し、ノイズのある観測下でも安定した係数回復が可能である。
• 潜在変数モデル推定は、バウンドのおかげで、ややいびつな正則性条件のもとでも一貫した回復が保証される。
• 理論的フレームワークにより、見た目は異なるが3つの高次元データ問題が統一的に取り扱われ、共通の背後メカニズムが明らかになった。