[論文レビュー] Squared-Norm Empirical Process in Banach Space

Vincent Q. Vu, Jing Lei|arXiv (Cornell University)|Dec 4, 2013

Point processes and geometric inequalities参考文献 2被引用数 3

ひとこと要約

この論文は、Mendelsonの二次経験過程の上限に関する結果を、バナッハ空間値関数のノルムの二乗に拡張し、対称化と一般化チェイニング関数の部分加法性を用いる。主な貢献は、経験的二乗ノルムの上限の確率的偏差に対する高確率境界を確立することであり、有限ランクの正定値行列によってインデックス付けられる標本共分散行列における線形過程への応用を含む。

ABSTRACT

This note extends a recent result of Mendelson on the supremum of a quadratic process to squared norms of functions taking values in a Banach space. Our method of proof is a reduction by a symmetrization argument and observation about the subadditivity of the generic chaining functional. We provide an application to the supremum of a linear process in the sample covariance matrix indexed by finite rank, positive definite matrices.

研究の動機と目的

• 実数値関数からバナッハ空間値関数へのMendelsonの二次過程の上限の一般化を目的とする。
• 経験的二乗ノルム過程の上限の確率的尾部境界を確立する：$\left|\frac{1}{n}\sum_{i=1}^{n}\|g(X_i)\|^2 - \mathbb{E}\|g(X_i)\|^2\right|$。
• 導出された境界を、有限ランクで正定値な行列によってインデックス付けられる標本共分散行列における線形過程の上限に応用する。
• 適切な距離に関して、オルリッチノルムと一般化チェイニング関数$\gamma_2$を用いて関数族$G$の複雑さを測定する。
• 高次元設定における演算子ノルムと確率的行列統計を含む経験過程を分析するための枠組みを提供する。

提案手法

• バナッハ空間値関数の二乗ノルム過程を、既存の二次過程境界に適した形に還元するために、対称化の議論を用いる。
• 関数族$G$上の距離$d(g_1, g_2) = \|\|g_1(X_1) - g_2(X_1)\|\|_{\psi_2}$を導入し、複雑さを測定する。
• 一般化チェイニング関数$\gamma_2$の部分加法性を用いて、対称関数族の和集合の複雑さを制御する。
• 不等式$\|\|A^T Z\|\|_{\psi_2} \leq \|A\|_F \|Z\|_{\psi_2}$を用いて、$\|A^T X_1\|$の$\psi_2$ノルムと$A$のフロベニウスノルムとの関係を確立する。
• マジョライジング測度定理を用いて、$\gamma_2(G, d)$をガウス過程の上限の期待値$\mathbb{E} \sup_{A \in \mathcal{A}} \langle \mathcal{Z}, A \rangle$の形で上界で評価する。
• 導出された複雑さパラメータを用いて経験過程の偏差に対する尾部境界を導出し、それを標本共分散行列に応用する。

実験結果

リサーチクエスチョン

• RQ1 バナッハ空間における経験的二乗ノルム過程の上限の偏差は、指数的尾部確率で有界にできるか？
• RQ2 関数族$G$の複雑さ（$\gamma_2$およびオルリッチノルムで測定）は、経験的二乗ノルムの偏差をどのように制御するか？
• RQ3 対称化された過程の文脈において、一般化チェイニング関数$\gamma_2$とメトリックエントロピーの部分加法性の関係は何か？
• RQ4 経験的二乗ノルム過程に対する境界は、標本共分散行列における線形過程にどのように応用できるか？
• RQ5 行列$A$のフロベニウスノルムと確率ベクトル$X_1$の$\psi_2$ノルムは、収束速度にどのように寄与するか？

主な発見

• 本論文は、経験的二乗ノルム過程の上限に対する高確率境界を確立した：$\left|\frac{1}{n}\sum_{i=1}^{n}\|g(X_i)\|^2 - \mathbb{E}\|g(X_i)\|^2\right| \leq c_3 t \left\{ \frac{d_{\psi_1}(G) \gamma_2(G,d)}{\sqrt{n}} + \frac{\gamma_2^2(G,d)}{n} \right\}$ であり、確率 $1 - 2\exp(-c_2 t^{2/5})$ 以上で成立する。
• 線形過程$g(x) = A^T x$に対して、境界は$\sigma = \sup_{\|u\|_2=1} \|\langle X_1, u \rangle\|_{\psi_2}$、$\sup_{A \in \mathcal{A}} \|A\|_F$、および$\mathbb{E} \sup_{A \in \mathcal{A}} \langle \mathcal{Z}, A \rangle$の形で表現される。
• この境界から、$\mathbb{E} \sup_{A \in \mathcal{A}} |\langle S_n - \Sigma, AA^T \rangle| \leq c \left\{ \frac{\sigma^2 \sup_A \|A\|_F}{\sqrt{n}} \mathbb{E} \sup_A \langle \mathcal{Z}, A \rangle + \frac{\sigma^2}{n} \left( \mathbb{E} \sup_A \langle \mathcal{Z}, A \rangle \right)^2 \right\}$ が導かれる。
• クラス$\mathcal{A}$の対称性と、$X_1$の平均がゼロで、$\psi_2$ノルムによって示されるガウス型の尾部を持つという仮定の下で、結果は成り立つ。
• 標本共分散行列への応用により、経験的共分散と真の共分散の偏差が、行列クラス$\mathcal{A}$の複雑さによって制御されることを示している。
• 導出された境界は、ガウス過程における既知の収束速度と一致しており、オルリッチノルムを用いて非ガウス的・重尾的設定へと拡張されている点で鋭い。