[論文レビュー] Small ball probabilities for linear images of high dimensional distributions

Mark Rudelson|arXiv (Cornell University)|Jan 1, 2014

Point processes and geometric inequalities参考文献 14被引用数 1

ひとこと要約

本稿は、独立な座標を持つ高次元確率的ベクトルの線形写像に関する小さな球確率の境界を確立する。入力ベクトルの各座標が長さ t の区間で濃度関数が p で有界であると仮定すると、線形変換 AX は半径 t\|A\|_{HS} の球に (Cp)^{0.9 r(A)} 以下の確率で集中する。主な貢献は、古典的な確率変数の和や射影に関する結果を一般化した、次元に依存しない鋭い境界を提供することである。

ABSTRACT

We study concentration properties of random vectors of the form $AX$, where $X = (X_1, ..., X_n)$ has independent coordinates and $A$ is a given matrix. We show that the distribution of $AX$ is well spread in space whenever the distributions of $X_i$ are well spread on the line. Specifically, assume that the probability that $X_i$ falls in any given interval of length $T$ is at most $p$. Then the probability that $AX$ falls in any given ball of radius $T \|A\|_{HS}$ is at most $(Cp)^{0.9 r(A)}$, where $r(A)$ denotes the stable rank of $A$ and $C$ is an absolute constant.

研究の動機と目的

• X が独立な座標を持つとき、AX の集中性を理解すること。
• i.i.d. 確率変数の和や射影に関する古典的な小さな球確率の結果を、任意の線形変換に一般化すること。
• 入力分布の広がり（濃度関数で測定）が線形写像を通じてどのように伝播するかを定量化すること。
• AX の小さな球確率の減衰率を支配する主要なパラメータとして、安定ランク r(A) を同定すること。
• 連続的および一般（離散的または混合）分布に適用可能な、柔軟で漸近的でない境界を提供すること。

提案手法

• 小球確率を測るための濃度関数 L(Z, t) = max_u P(\|Z - u\|_2 ≤ t) の使用。
• Rogozin の定理および Ball の定理（立方体の最大超平面断面）を用いて、独立な確率変数の和の密度を制限する。
• 特異値に基づくスペクトル射影 P_l を用いた行列 A の二進分解により、AX のノルムの再帰的制御を可能にする。
• 射影における濃度関数のテンソル化（Corollary 1.4）の使用により、PlX が小さなノルムを持つ確率を制限する。
• 一般不等式 (8.4) の導出：P(\|AX\|_2 ≤ M S_r(A)) ≤ (C M p)^r で、S_r(A) は特異値の尾部の l2 ノルムである。
• 滑らか化の議論を用いて、畳み込みによる近似により、連続的でない一般分布への結果の拡張を行う。

実験結果

リサーチクエスチョン

• RQ1 独立座標を持つ高次元確率的ベクトルの集中性が、線形変換 AX を通じてどのように伝播するか？
• RQ2 行列 A の安定ランク r(A) に依存する、小さな球確率 P(\|AX\|_2 ≤ t\|A\|_{HS}) の最適な依存関係は何か？
• RQ3 i.i.d. 確率変数の和に関する古典的境界（例：密度が √2 K で有界）は、任意の行列 A を用いた一般線形写像へと拡張可能か？
• RQ4 個々の座標の濃度関数 L(X_i, t) ≤ p が、変換されたベクトル AX の集中性にどのように影響するか？
• RQ5 指数部のパrameter ε における鋭い依存関係 (1−ε)r(A) は何か？実用的応用において最適化可能か？

主な発見

• 座標の密度が K で有界な連続的分布に対して、任意の d 次元射影 PX の密度はほとんど everywhere で (CK)^d で有界である。
• 密度が K で有界な独立確率変数の和に対して、∑ a_j X_j （∑ a_j^2 = 1）の密度は √2 K で有界であり、この境界は鋭い。
• AX の濃度関数は、任意の ε ∈ (0,1) に対して L(AX, t\|A\|_{HS}) ≤ (Cε p)^{(1−ε)r(A)} を満たす。ここで r(A) は行列 A の安定ランクである。
• この境界は次元に依存せず、安定ランクを主要なスケーリングパラメータとして組み込むことで、古典的結果を改善する。
• 密度が K で有界な分布に対して、任意の τ > 0 に対して L(AX, τ \|A\|) ≤ (CKτ)^{r(A)} が成り立ち、小さな球半径に損失のない依存関係が示される。
• この結果は鋭いといえる。指数部 (1−ε)r(A) を r(A) よりも良くすることは、追加の仮定なしには不可能であり、定数 Cε = C/√ε は ε と定数のトレードオフを反映している。