[論文レビュー] Uniform bounds for invariant subspace perturbations

Anil Damle, Yuekai Sun|arXiv (Cornell University)|May 20, 2019

Sparse and Compressive Sensing Techniques参考文献 26被引用数 6

ひとこと要約

本稿では、2-∞ノルム（特に行単位の距離）を用いた新しい決定的バインドを導出し、不変部分空間の摂動に対して、従来のスペクトルノルムやフロベニウスノルムに基づくバインドよりも著しくタイトな結果を得ることを示している。特に摂動と固有ベクトルが非一様（incoherent）である場合に顕著な改善が得られる。主な貢献は、対称行列とその摂動版の固有ベクトル間の行単位距離に対して、明示的かつ鋭い上界を与えることである。これは、構造的条件下では古典的なDavis-Kahan型結果を改善するものである。

ABSTRACT

For a fixed symmetric matrix A and symmetric perturbation E we develop purely deterministic bounds on how invariant subspaces of A and A+E can differ when measured by a suitable "row-wise" metric rather than via traditional measures of subspace distance. Understanding perturbations of invariant subspaces with respect to such metrics is becoming increasingly important across a wide variety of applications and therefore necessitates new theoretical developments. Under minimal assumptions we develop new bounds on subspace perturbations under the two-to-infinity matrix norm and show in what settings these row-wise differences in the invariant subspaces can be significantly smaller than the analogous two or Frobenius norm differences. We also demonstrate that the constitutive pieces of our bounds are necessary absent additional assumptions and, therefore, our results provide a natural starting point for further analysis of specific problems. Lastly, we briefly discuss extensions of our bounds to scenarios where A and/or E are non-normal matrices.

研究の動機と目的

• スペクトルノルムやフロベニウスノルムではなく、行単位ノルムで部分空間差を測る摂動理論の増大するニーズに対処すること。
• 対称摂動下における不変部分空間の正規直交基底の差の2-∞ノルムに対して、鋭い決定的バインドを提供すること。
• これらのバインドが最小限の仮定のもとで必要かつ最適であることを示し、追加の構造的制約や確率的モデル仮定を必要としないこと。
• 非正規行列へのフレームワークの拡張を行い、対称な設定を超えた適用可能性を示すこと。

提案手法

• 対称行列とその摂動版の主要不変部分空間の正規直交基底間の2-∞ノルムの差に対するバインドを導出する。
• 行列 $ A $ と $ E $ のブロック行列分解を用い、主要なスペクトル成分と補完的成分に対応するブロックに行列を分割する。
• 直交プロクラウティス問題を介した摂動展開を適用し、不変部分空間基底における残差誤差を制御する非線形行列方程式の解を構成する。
• 行列方程式 $ G:Y \to -V_2\widetilde{A}_{2,1} + Y\widetilde{A}_{1,1} - V_2\widetilde{A}_{2,2}V_2^T Y + Y\widetilde{A}_{1,2}V_2^T Y $ の精密な解析を用い、部分空間基底における摂動を制御する解を扱う。
• スペクトル分離を定量化し、摂動問題の条件数を制御するために、ギャップ $ \text{gap} $ と一般化分離 $ \text{sep}_2(\Lambda_1, \Lambda_2) $ を用いる。
• バインドの各成分が最小限の仮定のもとで必要であることを示し、追加の仮定なしには改善できないことを示す。

実験結果

リサーチクエスチョン

• RQ1 対称行列とその摂動版の不変部分空間間の行単位距離に対して、古典的バインドよりも著しくタイトな決定的バインドを導出可能か？
• RQ2 摂動と固有ベクトルの非一様性が、このようなバインドのタイトさにどのように影響するか？
• RQ3 どのような条件下で、部分空間差の2-∞ノルムが、Davis-Kahan理論のスペクトルノルムバインド $ \|Ev\|_2 / \lambda $ より著しく小さくなるか？
• RQ4 提案されたバインドの個々の成分は必要不可欠であるか、それとも追加の仮定なしに改善可能か？
• RQ5 このフレームワークは非正規行列へ拡張可能か？その際の主な課題は何か？

主な発見

• ランク1摂動の場合、$ \min_{s=\pm1} \|\widehat{v} - s v\|_\infty \leq 8\|v\|_\infty \frac{\|Ev\|_2^2}{\lambda^2} + 2\zeta \frac{\|Ev\|_\infty}{\lambda} + 4\zeta \frac{\|Ev\|_2}{\lambda^2} \max_i \|E_{i,:}\|_2 $ の形のバインドを確立した。ここで $ \zeta = \|I - vv^T\|_\infty $ である。
• このバインドは、$ E $ と $ v $ が非一様（すなわち、各行のノルムが一様に小さい）である場合に、古典的なDavis-Kahanバインド（$ \|Ev\|_2 / \lambda $ のオーダー）よりも著しく小さくなる。
• バインドの成分が最小限の仮定のもとで必要であることが示され、追加の構造的制約なしにはバインドを改善できないことが確認された。
• 高ランク部分空間の場合、$ \|V_2 E_{2,2} V_2^T\|_{2,\infty} $、$ \|E_{2,1}\|_2 $、スペクトルギャップおよび分離定数を含むバインドを導出した。このバインドは、非対角項およびブロック摂動の影響を捉えている。
• 解析により、部分空間差の2-∞ノルムは、摂動の行単位構造と行列のスペクトル構造の相互作用によって制御されることを示した。
• 非正規行列への拡張において、バインドは $ \|V_2 E_{2,2} V_2^T \widehat{Y}\|_{2,\infty} / \text{gap} $ のような項を含み、証明は残差行列 $ \widehat{Y} $ の非線形行列方程式の解法に依存する。