[論文レビュー] Random projections of random manifolds

Subhaneil Lahiri, Peiran Gao+1 more|arXiv (Cornell University)|Jul 14, 2016

Topological and Geometric Data Analysis参考文献 16被引用数 5

ひとこと要約

本稿では、高次元空間に埋め込まれた滑らかなガウス型ランダム多様体の幾何構造を保存するためのランダム射影の数に関する、解析的に取り扱える高確率的バウンドを導入する。多様体の複雑さを体積と曲率の統計的に取り扱える形でモデル化することで、先行研究よりも著しくタイトなバウンドを導出し、数値シミュレーションにより検証した。その結果、失敗確率が環境次元に従って指数関数的に減少することが示された。

ABSTRACT

Interesting data often concentrate on low dimensional smooth manifolds inside a high dimensional ambient space. Random projections are a simple, powerful tool for dimensionality reduction of such data. Previous works have studied bounds on how many projections are needed to accurately preserve the geometry of these manifolds, given their intrinsic dimensionality, volume and curvature. However, such works employ definitions of volume and curvature that are inherently difficult to compute. Therefore such theory cannot be easily tested against numerical simulations to understand the tightness of the proven bounds. We instead study typical distortions arising in random projections of an ensemble of smooth Gaussian random manifolds. We find explicitly computable, approximate theoretical bounds on the number of projections required to accurately preserve the geometry of these manifolds. Our bounds, while approximate, can only be violated with a probability that is exponentially small in the ambient dimension, and therefore they hold with high probability in cases of practical interest. Moreover, unlike previous work, we test our theoretical bounds against numerical experiments on the actual geometric distortions that typically occur for random projections of random smooth manifolds. We find our bounds are tighter than previous results by several orders of magnitude.

研究の動機と目的

• 滑らかなランダム多様体の幾何構造保存のためのランダム射影に関する理論的バウンドとその実用的計算可能性のギャップを解消すること。特に、条件数や測地的被覆正則性といった扱いにくい幾何的測度に依存しないこと。
• 滑らかなランダム多様体の幾何的構造を保存するために必要なランダム射影の数に関する、解析的に取り扱える高確率的バウンドを導出すること。
• ガウス型ランダム多様体上でのランダム射影の数値的シミュレーションと理論的予測を照合し、バウンドのタイトさを実証的に検証すること。
• 典型的な歪みを、長距離弦（遠く離れた点間）と短距離弦（近接する点間）に分解することで、それらが細胞径、曲率、接平面の射影部分空間への整合性といった幾何的性質とどのように関連するかを特定すること。
• 計算可能で実証的に検証されたバウンドを提供することで、データサイエンスおよび神経科学における次元削減の実用的フレームワークを構築すること。

提案手法

• 著者らは、ℝ^N 内のガウス型ランダム部分多様体として滑らかなランダム多様体をモデル化し、統計的アンサンブルを用いて典型的な幾何的挙動を定義する。
• ランダム射影における歪みを、遠く離れた点間の長距離弦と近接する点間の短距離弦に分解し、幾何確率および主角度を用いてそれぞれのバウンドを別々に導出する。
• 長距離弦に関しては、細胞径、細胞間隔、中心弦の射影を用い、集中不等式を用いてバウンドを導出する。
• 短距離弦に関しては、細胞の曲率と接平面が射影部分空間とどのように整合するかを分析し、主角度解析を簡略化するためのγ-近似を用いる。
• 全体のバウンドは、長距離および短距離弦の歪みを組み合わせることで得られ、最終的な失敗確率バウンドは環境次元N、内埋次元K、体積ln 𝒱、歪みε、信頼度δの関数として表現される。
• 得られたバウンドは、ランダム多様体上でのランダム射影のシミュレーションにより数値的に検証された。δ = 0.05における予測されたM*（最小射影数）と、実際の失敗率を比較したところ、理論的予測と良好に一致した。

実験結果

リサーチクエスチョン

• RQ1 条件数や測地的被覆正則性といった扱いにくい幾何的測度に依存せずに、滑らかなランダム多様体の幾何構造保存に必要なランダム射影の数に関する解析的に取り扱えるバウンドをどのように導出できるか？
• RQ2 滑らかなランダム多様体のランダム射影における典型的な歪み分布は何か？その分布は環境次元、内埋次元、多様体体積とどのようにスケーリングするか？
• RQ3 数値的シミュレーションによる検証において、先行理論（例：Baraniuk & Wakin, Verma）と比較して、導出されたバウンドはどの程度タイトか？
• RQ4 提案されたバウンドが先行研究を上回る条件は何か？また、N や K におけるスケーリングの違いから、他のバウンドが支配的になる状況はどのようなものか？
• RQ5 幾何的歪みの失敗確率は環境次元に従って指数関数的に減少するか？また、実用的状況においても高い確率でその性質が成立するか？

主な発見

• 式 (22) に示される提案バウンドは、同じ歪みと信頼度レベルにおいて、先行理論的バウンドよりも著しくタイトである。必要な射影数の観点で数個のオーダー以上に改善されている。
• 幾何的歪みの失敗確率は環境次元Nに従って指数関数的に小さく、実用的状況においても多様体幾何の高確率的保存を保証する。
• 導出されたバウンドは、歪みの主な寄与要因が短距離弦に起因することを示しており、これは局所的曲率と接平面が射影部分空間とどのように整合するかに依存する。
• バウンドは数値的シミュレーションにより実証的に検証された。N = 1000の場合、予測されたM*は、ε < 0.1 を達成するための最小Mとよく一致し、理論的予測の妥当性が確認された。
• ほとんどの状況において、Baraniuk & Wakin (2009) や Verma (2011) のバウンドを上回る性能を示した。Vermaのバウンドがよりタイトになるクロスオーバー点は、N ~ 10^36 にまで達し、実用的意義は極めて低い。
• 新しいバウンド（式73）ではln N項の係数が存在しないため、Nが大きい場合にはより有利であるが、極めて大きなNではVermaのバウンドがln Nの係数が0であるため、支配的になる可能性がある。