[論文レビュー] Rate-Optimal Perturbation Bounds for Singular Subspaces with Applications to High-Dimensional Statistics

Tommaso Cai, Anru R. Zhang|arXiv (Cornell University)|May 2, 2016

Sparse and Compressive Sensing Techniques参考文献 57被引用数 19

ひとこと要約

本稿は、加法的ノイズ下での低ランク行列の左および右特異部分空間に対するレート最適な摂動バウンドを確立し、分離されたスペクトルおよびフロベニウス sin Θ 距離を用いる。左および右特異部分空間は、同じ摂動下でも根本的に異なる最適収束レートを示す可能性があり、これは高次元統計においてこれまでに特徴づけられていなかった現象である。

ABSTRACT

Perturbation bounds for singular spaces, in particular Wedin's $\sin Θ$ theorem, are a fundamental tool in many fields including high-dimensional statistics, machine learning, and applied mathematics. In this paper, we establish separate perturbation bounds, measured in both spectral and Frobenius $\sin Θ$ distances, for the left and right singular subspaces. Lower bounds, which show that the individual perturbation bounds are rate-optimal, are also given. The new perturbation bounds are applicable to a wide range of problems. In this paper, we consider in detail applications to low-rank matrix denoising and singular space estimation, high-dimensional clustering, and canonical correlation analysis (CCA). In particular, separate matching upper and lower bounds are obtained for estimating the left and right singular spaces. To the best of our knowledge, this is the first result that gives different optimal rates for the left and right singular spaces under the same perturbation. In addition to these problems, applications to other high-dimensional problems such as community detection in bipartite networks, multidimensional scaling, and cross-covariance matrix estimation are also discussed.

研究の動機と目的

• Wedinの sin Θ 定理における一様摂動バウンドの限界を扱い、高次元設定において感度が異なるにもかかわらず左および右特異部分空間を対称的に扱う点に起因する。
• 同じ摂動下で左および右特異部分空間の別個の、レート最適な上界および下界を導出することにより、それらの収束レートが顕著に異なる可能性を示すこと。
• これらの精密化されたバウンドを、低ランク行列のノイズ除去、クラスタリング、および線形相関分析（CCA）といった、主に片方の特異部分空間に注目が集まる高次元統計的問題に応用すること。
• 同一のノイズ条件下で左および右特異部分空間が異なる最適レートに達することを示す理論的枠組みを初めて確立し、摂動理論における長年のギャップを解消すること。

提案手法

• スペクトルおよびフロベニウス sin Θ 距離を用いて、左および右特異部分空間の別個の摂動バウンドを導出する。これらは行列解析における標準的測度である。
• 左および右特異部分空間の挙動を分離する新しい分析フレームワークを導入し、非対称な収束レートを可能にする。
• 集中不等式およびランダム行列理論のツール（ハール分布をもつランダム行列、χ² 尾部バウンドなど）を用い、摂動された部分空間のスペクトルノルムを制御する。
• 最初の r 個の特異ベクトルに対する条件付き解析を適用し、ε ネット法を用いて残差部分空間のノルムをバウンドする。
• 行列摂動理論およびDavis-Kahan-Wedin フレームワークを用い、非対称かつ非対称な設定に拡張し、別個のバウンドを導出する。
• 下界構築を用いてレート最適性を証明し、導出された上界が定数因子の範囲内でタイトであることを示す。

実験結果

リサーチクエスチョン

• RQ1 同じ摂動下で、低ランク行列の左および右特異部分空間は、別個の最適レートで推定可能か？
• RQ2 独立同分布ノイズを伴う高次元設定において、左および右特異部分空間を推定する正確な収束レートは何か？
• RQ3 行列の行数と列数が著しく不均衡な場合、特異部分空間の摂動バウンドはどのように異なるか？
• RQ4 低ランクノイズ除去、クラスタリング、またはCCAといった高次元統計モデルにおいて、左および右特異部分空間の別個のレートは、実用的に有意義になるか？
• RQ5 片方の側（左または右）が回復可能である一方で、もう片方が回復不能な場合、元の行列または特異部分空間を安定して回復することは可能か？

主な発見

• 本稿は、左および右特異部分空間について、別個のレート最適な摂動バウンドを初めて確立し、同じ摂動下でもそれらの収束レートが異なる可能性を示した。
• 低ランク行列のノイズ除去において、左特異空間を推定する最適レートは O(√(d/n)) である一方、右特異空間は O(√(p/n)) であり、d および p はそれぞれ行数および列数を表す。
• 高次元クラスタリングにおいて、グループ構造の回復可能性は、どの特異部分空間がよく推定されるかに依存し、本稿は非対称な次元性下では片方の部分空間のみが回復可能である可能性を示した。
• 下界は上界と定数因子の範囲内で一致しており、導出されたレートが最適であり、漸近的に改善できないことを証明した。
• 一部の設定では、左特異空間は正確に推定可能である一方で右特異空間はそうでない、あるいはその逆であることが分析で明らかになった。これは、行列の次元およびノイズ構造に依存する。
• 線形相関分析（CCA）への応用において、本稿は左および右の標準的ベクトルの最適推定レートが、同じノイズレベル下でも異なる可能性があることを示した。