[論文レビュー] Adaptive Geometric Multiscale Approximations for Intrinsically Low-dimensional Data

Wenjing Liao, Mauro Maggioni|arXiv (Cornell University)|Nov 3, 2016

Advanced Numerical Analysis Techniques参考文献 44被引用数 10

ひとこと要約

本稿は、高次元データが低次元多様体にほぼ支持されている場合に適応的幾何的マルチスケール近似（適応的GMRA）を導入し、幾何的ウェーブレット係数に対するしきい値処理アルゴリズムを用いて、$ Cn\log n $ の複雑さでデータ駆動型で高速な辞書学習を実現する。この手法は一般的な幾何的仮定の下で近似の保証を提供し、スケールにわたる可変な正則性を含み、広範な測度クラスに対して最適収束速度を達成する。

ABSTRACT

We consider the problem of efficiently approximating and encoding high-dimensional data sampled from a probability distribution $ρ$ in $\mathbb{R}^D$, that is nearly supported on a $d$-dimensional set $\mathcal{M}$ - for example supported on a $d$-dimensional Riemannian manifold. Geometric Multi-Resolution Analysis (GMRA) provides a robust and computationally efficient procedure to construct low-dimensional geometric approximations of $\mathcal{M}$ at varying resolutions. We introduce a thresholding algorithm on the geometric wavelet coefficients, leading to what we call adaptive GMRA approximations. We show that these data-driven, empirical approximations perform well, when the threshold is chosen as a suitable universal function of the number of samples $n$, on a wide variety of measures $ρ$, that are allowed to exhibit different regularity at different scales and locations, thereby efficiently encoding data from more complex measures than those supported on manifolds. These approximations yield a data-driven dictionary, together with a fast transform mapping data to coefficients, and an inverse of such a map. The algorithms for both the dictionary construction and the transforms have complexity $C n \log n$ with the constant linear in $D$ and exponential in $d$. Our work therefore establishes adaptive GMRA as a fast dictionary learning algorithm with approximation guarantees. We include several numerical experiments on both synthetic and real data, confirming our theoretical results and demonstrating the effectiveness of adaptive GMRA.

研究の動機と目的

• 高次元データが低次元多様体にほぼ支持されている場合に、高速でデータに適応する辞書学習手法を開発すること。
• 従来のGMRAを拡張し、幾何的ウェーブレット係数へのしきい値処理を導入することで、局所的な正則性とスケールにわたる滑らかさの変化に適応すること。
• 非一様な正則性や多様体への近接支持を含む一般的な幾何的仮定の下で、適応的GMRAの理論的近似誤差バインディングを確立すること。
• 環境次元 $ D $ に線形的で、内在次元 $ d $ に指数的に依存する $ Cn\log n $ の計算複雑性を持つ、計算的に効率的なフレームワークを提供すること。
• 合成データおよび実世界データにおける理論的分析と数値実験を通じて、適応的GMRAの有効性を示すこと。

提案手法

• 適応的GMRAを、幾何的マルチスケール近似のしきい値処理版として提案し、サンプルサイズ $ n $ の普遍関数に基づいてウェーブレット係数をしきい値処理する。
• カバー木アルゴリズムを用いてデータのマルチスケール木分解を実施し、各スケールにおける二進セルがデータ集合の分割を形成する。
• 各二進セル内でPCAを適用し、潜在多様体 $ \mathcal{M} $ の局所的 $ d $ 次元近似を構築する。
• 幾何的ウェーブレット係数へのしきい値ルールを導入し、顕著な近似成分のみを選択することで、スパースでデータ駆動型の表現を実現する。
• データから係数への変換およびその逆変換を、両方とも $ Cn\log n $ 時間で計算可能とする高速変換を採用する。
• 理論的分析は、セルカバレッジと係数推定の確率的バインディングに依拠し、集中不等式と幾何測度論を用いる。

実験結果

リサーチクエスチョン

• RQ1 適応的GMRAは、スケールおよび位置に応じて正則性が変化する測度に対して最適な近似速度を達成できるか？
• RQ2 幾何的ウェーブレット係数へのしきい値ルールが、得られる辞書の近似誤差とスパarsityに与える影響は何か？
• RQ3 $ d \ll D $ である $ d $ 次元多様体に近接して支持される測度に対して、適応的GMRAの理論的収束速度は何か？
• RQ4 適応的GMRAの計算複雑性は、サンプルサイズ $ n $、環境次元 $ D $、内在次元 $ d $ にどのように依存するか？
• RQ5 複雑で非一様な正則性を持つデータ分布において、適応的GMRAは標準的なGMRAや他の辞書学習手法を上回る近似精度と効率性を達成できるか？

主な発見

• H\
• 高確率で、スケール $ j^* $ における顕著なセルの数が安定な近似に十分であることが、補題34で示されている。
• 実験的適応直交GMRAは、正則性仮定の下で理論的レートと一致する $ \mathcal{O}\left(\left(\frac{\log^5 n}{n}\right)^{\frac{2s}{2s + d - 2}}\right) $ の誤差バインディングを達成する。
• 辞書構築および変換の両方の計算複雑性は $ Cn\log n $ であり、定数は $ D $ に線形的で、$ d $ に指数的に依存するため、高次元データに対してスケーラブルである。
• 数値実験により、適応的GMRAが複雑で非一様に滑らかなデータの符号化において、標準的なGMRAや他の手法を上回ることが確認された。
• サンプルサイズ $ n $ の普遍関数である $ \tau_n^o $ に基づくしきい値ルールにより、局所的滑らかさの異なる多様なデータ測度に対して、耐障害性が保証される。