[論文レビュー] Concentration via chaining method and its applications

Witold Bednorz|arXiv (Cornell University)|May 4, 2014

Sparse and Compressive Sensing Techniques参考文献 2被引用数 11

ひとこと要約

本稿は、特に経験過程およびガウス過程に対して鋭い集中不等式を導出するための洗練されたチェインニング手法を開発する。指数型モーメント条件の下でベルンシュタイン型不等式を確立し、圧縮センシングおよび高次元統計において極めて重要な最適な集中バウンドを可能にする。

ABSTRACT

In this paper we study the regularity of paths in terms of properties of admissible nets. We show the right concentration inequality above the modulus of continuity. Using the approach we prove the Bernstein type inequality for the empirical processes. Therefore we obtain the best form of concentration for processes studied recently by Mendelson and Paouris. Results of this type are of importance in the compressed sensing theory.

研究の動機と目的

• モーメント制御の下で、最適な集中不等式を導くチェインニングに基づく手法の開発。
• 指数型尾を持つ経験過程に対してベルンシュタイン型不等式を確立し、既存の結果を改善すること。
• 洗練された集中バウンドを圧縮センシングに応用し、特にサブガウス行列のエントリに対して適用すること。
• チェインニングおよびメジャーイズド測度を用いて、スパース回復における制限自己同一性性質（RIP）のための標本複雑度を定量すること。
• 理論的集中不等式と高次元確率および信号処理分野における実用的応用を橋渡しすること。

提案手法

• 経路の正則性と増分行動を制御するため、適切なネット $(T_n)$ を用いた二段階のチェインニング手法を採用。
• プロセスのモジュラス連続性を捉えるために、重み付き和 $\sigma_m(t) = \sum_{n=m}^\infty 2^n d(t, T_n)$ を導入。
• 尾の挙動を制御するため、$\mathbb{E}[Z] \leq 1$ を満たす確率変数 $Z = \sum_{n=1}^\infty \frac{1}{N_n^3} \sum_{t \in T_n} \psi\left( \frac{|X(t) - X(\pi_{n-1}(t))|}{d(t, \pi_{n-1}(t))} \right)$ を定義。
• 非凸的だがサブ指数的であるヤング関数を扱うために、指数型条件 $\psi^{-1}(xy) \leq K(\psi^{-1}(x) + \psi^{-1}(y))$ を適用。
• チェインニングとメジャーイズド測度理論を組み合わせ、スパース単位球の複雑度 $\gamma_2(S_2(\Sigma_{2m}))$ をバウンド。
• チェインニング不等式を用いて、$\delta_{2m} = \sup_{x \in S_2(\Sigma_{2m})} \left| \frac{1}{N} \sum_{i=1}^N \langle Y_i, x \rangle^2 - 1 \right|$ に対する高確率バウンドを導出。

実験結果

リサーチクエスチョン

• RQ1 指数型尾を持つプロセスに対して、チェインニング手法をどのように洗練させれば最適な集中不等式が得られるか？
• RQ2 モーメント制御の下で、経験過程の上限に対する最もきつい集中バウンドは何か？
• RQ3 チェインニングアプローチをどのように変更すれば、圧縮センシングにおける最適な標本複雑度バウンドを導けるか？
• RQ4 スパース性および次元に依存する点で、チェインニングに基づくバウンドは既存の結果と比べてどのように異なるか？
• RQ5 適切なネットと $\psi$-ノルムが、経路の正則性と尾の挙動を制御する上で果たす役割は何か？

主な発見

• 本稿は鋭い集中不等式を確立した：$|X(t) - X(\pi_m(t))| \leq A\sigma_m(t) + Bd(t, \pi_m(t))\psi^{-1}(Z)$ で、$\mathbb{E}[Z] \leq 1$ であり、$A = 15K^2$、$B = 4K^2$。
• サブガウス行列エントリを持つ経験過程に対しては、チェインニング手法により $\mathbf{P}(\delta_{2m} > \delta) \leq \exp(-c \gamma^2)$ のバウンドが得られ、$\gamma = \sqrt{m \log(c_0 m^{-1} M)}$。
• 本手法は最適な標本複雑度を達成：$\delta_{2m} < \sqrt{2} - 1$ の場合、$N \gtrsim m \log(M/m)$。
• 既存の結果に比べ、正しい $m \log(M/m)$ の依存性を達成しており、既知の情報理論的限界と一致する。
• 適切なネットと $\psi$-ノルムによる制御を伴うチェインニングアプローチにより、指数型条件の下で最適定数を有するベルンシュタイン型不等式が得られる。
• 結果として、$N \gtrsim m \log(M/m)$ のとき、$\delta_{2m} < \sqrt{2} - 1$ が高確率で成立することが確認され、$m$-スパースベクトルの正確な復元が保証される。