[論文レビュー] Rigorous Restricted Isometry Property of Low-Dimensional Subspaces

Gen Li, Qinghua Liu+1 more|arXiv (Cornell University)|Jan 30, 2018

Matrix Theory and Algorithms参考文献 20被引用数 5

ひとこと要約

本稿は、高次元空間における低次元部分空間間のフロベニウスノルム距離が、ガウス確率的射影によって高い確率で保存されることを厳密に確立している。部分空間の次元に対して十分に大きな射影次元 $ n $ が確保されているとき、射影後の部分空間距離は元の距離とほとんど変わらないことが証明されており、ジョンソン＝リンドンストラスの補題および制限等長性性質（RIP）を、単なるベクトルではなく部分空間へと拡張している。

ABSTRACT

Dimensionality reduction is in demand to reduce the complexity of solving large-scale problems with data lying in latent low-dimensional structures in machine learning and computer version. Motivated by such need, in this work we study the Restricted Isometry Property (RIP) of Gaussian random projections for low-dimensional subspaces in $\mathbb{R}^N$, and rigorously prove that the projection Frobenius norm distance between any two subspaces spanned by the projected data in $\mathbb{R}^n$ ($n

研究の動機と目的

• 高次元データにおける低次元部分空間間の距離が、確率的射影によって保存されることを理論的に保証すること。
• スパースベクトルに対する制限等長性性質（RIP）を、ジョンソン＝リンドンストラスの補題と類似した形で部分空間へと拡張すること。
• 部分空間距離保存の確率的バウンドを、従来の $1 - \mathcal{O}(1/n)$ から $1 - e^{-\mathcal{O}(n)}$ へと改善し、最適な尾部バウンドを達成すること。
• 次元削減が部分空間類似性を損なわずに可能であるという理論的基盤を、圧縮部分空間クラスタリング（CSC）の根拠として厳密に裏付けること。

提案手法

• 部分空間間の距離を測るため、各部分空間の標準正規基底行列を用いて定義される射影フロベニウスノルムを用いる。
• 各成分が i.i.d. に $\mathcal{N}(0, 1/n)$ に従うガウス確率的射影行列を用い、$\mathbb{R}^N$ から $\mathbb{R}^n$ へと部分空間を射影する。
• 行列濃度不等式および特異値解析を用いて、射影された部分空間距離の乖離をバウンドする。
• 次元が異なる部分空間に対応可能な一般化された射影 F-ノルム距離を導入・分析する。
• 正規直交化および射影分解技術を用いて依存関係を分離し、残差ベクトル間の内積をバウンドする。
• 確率的尾部バウンドを、確率的行列理論から得て、$n$ に関して指数的減少を達成する。

実験結果

リサーチクエスチョン

• RQ1 ガウス行列を用いた確率的射影によって、2つの低次元部分空間間の距離は保存可能か？
• RQ2 確率的射影における部分空間距離保存の最適な確率的バウンドは何か？
• RQ3 射影された部分空間距離は、元の距離に対してどの程度の乖離バウンドを持つか？
• RQ4 制限等長性性質（RIP）は、ジョンソン＝リンドンストラスの補題と類似した形で、スパースベクトルから部分空間へと拡張可能か？
• RQ5 高い確率で距離保存を達成するための最小の射影次元 $n$ は、部分空間次元 $d$ に対してどの程度か？

主な発見

• 任意の2つの部分空間間のフロベニウスノルム距離は、相対誤差 $\varepsilon$ 以内に保たれ、確率的に少なくとも $1 - e^{-\mathcal{O}(n)}$ の確率で成立する。
• 確率的バウンドは、先行研究の $1 - \mathcal{O}(1/n)$ から $1 - e^{-\mathcal{O}(n)}$ へと改善され、標準的なガウス確率的行列理論において最適である。
• 射影次元 $n$ が $d_2$（より大きな部分空間の次元）よりも著しく大きいとき、射影距離は元の距離に近く保たれる。
• 分析により、射影距離と元の距離の比が、$n$ と $\varepsilon$ に関する適切な条件下で $1 + \varepsilon$ にバウンドされることが示された。
• 証明により、正規直交化後の残差ベクトル間の内積が $n$ に関して指数的に減少することが示され、安定性が保証された。
• この結果は、圧縮部分空間クラスタリング（CSC）における確率的射影の利用を支持しており、理論的保証のもとで大規模データのスケーラブルな処理を可能にする。