[論文レビュー] Approximate Joint Matrix Triangularization

Nicolò Colombo, Nikos Vlassis|arXiv (Cornell University)|Jul 2, 2016

Tensor decomposition and applications被引用数 4

ひとこと要約

本稿は、ノイズがかかる jointly diagonalizable 行列の近似的な同時行列三角化のための理論的枠組みを提案し、近似的な三角化子と正確な三角化子の距離に関する事前および事後摂動バウンドを提供する。低ノイズ条件下での局所最適化アルゴリズムのグローバル収束保証を確立し、コアネルテンソル分解に対する新たな誤差バウンドを導出する。

ABSTRACT

We consider the problem of approximate joint triangularization of a set of noisy jointly diagonalizable real matrices. Approximate joint triangularizers are commonly used in the estimation of the joint eigenstructure of a set of matrices, with applications in signal processing, linear algebra, and tensor decomposition. By assuming the input matrices to be perturbations of noise-free, simultaneously diagonalizable ground-truth matrices, the approximate joint triangularizers are expected to be perturbations of the exact joint triangularizers of the ground-truth matrices. We provide a priori and a posteriori perturbation bounds on the `distance' between an approximate joint triangularizer and its exact counterpart. The a priori bounds are theoretical inequalities that involve functions of the ground-truth matrices and noise matrices, whereas the a posteriori bounds are given in terms of observable quantities that can be computed from the input matrices. From a practical perspective, the problem of finding the best approximate joint triangularizer of a set of noisy matrices amounts to solving a nonconvex optimization problem. We show that, under a condition on the noise level of the input matrices, it is possible to find a good initial triangularizer such that the solution obtained by any local descent-type algorithm has certain global guarantees. Finally, we discuss the application of approximate joint matrix triangularization to canonical tensor decomposition and we derive novel estimation error bounds.

研究の動機と目的

• 正確な三角化が摂動のため不可能な状況下で、ノイズがかかる jointly diagonalizable 行列の同時固有構造を推定する課題に対処すること。
• 事前および事後摂動バウンドを導出することで、近似的な同時三角化子の精度に関する理論的保証を提供すること。
• 低ノイズレベルの下で、真の解の近傍に初期化された任意の局所勾配降下法がグローバル収束保証を達成できることを示すこと。
• この枠組みをコアネルテンソル分解に適用し、新たな推定誤差バウンドを導出すること。

提案手法

• 近似的な同時三角化問題を、直交群 O(d) 上の非凸最適化として定式化し、変換された行列の厳密下三角部分の Frobenius 範数の二乗和を最小化する。
• 行列指数パarametrization を用いて、任意の近似的な三角化子 U を真の三角化子 U₀ からの摂動として U = U₀e^{αX} と表現する。ここで X は反対称行列であり、α は距離を測る。
• 真の行列とノイズの性質を用いて α に関する事前バウンドを導出し、入力行列からの観測可能な量のみを用いて事後バウンドを導出する。
• 目的関数のヘッセ行列を解析することで曲率をバウンドし、局所最適化がグローバルに正確な解をもたらす条件を導出する。
• 摂動理論を応用してコアネルテンソル分解の誤差バウンドを導出し、行列三角化とテンソル推定の精度を結びつける。
• トレースおよび Frobenius 範数の不等式を用いてヘッセ行列の交差項をバウンドし、摂動効果のタイトな上界を導出する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ摂動を受ける行列の近似的な同時三角化子と真の同時三角化子の距離を理論的にどのようにバウンドできるか。
• RQ2 近似的な同時三角化のための局所最適化アルゴリズムが、どのような条件下で正確な解へグローバルに収束するか。
• RQ3 ノイズ下で、変換された行列の固有値は真の固有値からどの程度ずれるか。
• RQ4 提案された摂動バウンドを用いて、コアネルテンソル分解における誤差推定を導出できるか。
• RQ5 ノイズレベルが近似的な三角化の精度に果たす役割は何か。

主な発見

• 真の行列とノイズレベルを用いて、近似的な三角化子と正確な三角化子の距離 α に関する事前バウンドを導出。弱い仮定の下で α ≤ O(σ) が成立する。
• 観測可能なデータのみを用いて事後バウンドを提供し、真の行列が分かっていなくても解の品質を実用的に評価可能である。
• ノイズレベルに関するある条件を満たせば、真の解の近傍に初期化された任意の局所勾配降下法がグローバル収束保証を達成する。
• 固有値推定誤差は |λ̂ᵢ(Ḿₙ) − λᵢ(Mₙ)| ≤ 2α‖Mₙ‖ + σ‖Wₙ‖ + O(α²) でバウンドされ、摂動およびノイズに線形に依存する。
• トレースおよびノルム不等式を用いて目的関数のヘッセ行列をバウンドし、低ノイズ下でのグローバル収束を支持する曲率バウンドを導出する。
• この枠組みにより、コアネルテンソル分解の新たな推定誤差バウンドが得られ、行列三角化とテンソル近似精度を結びつける。