[論文レビュー] Upper bounds on product and multiplier empirical processes

Shahar Mendelson|arXiv (Cornell University)|Oct 29, 2014

Statistical Methods and Inference参考文献 15被引用数 7

ひとこと要約

本稿は、Talagrandの$\gamma$関数への新しい変種とチェインジング手法を用いて、乗数過程および積過程の上位確率的上界を確立する。これらの上界は、索引クラス$F$および$H$の幾何的構造に依存し、$L_q$ノルムおよびメトリックエントロピーに明示的な依存関係を示し、対数凸およびサブガウスィアンな設定において、先行研究を改善する。

ABSTRACT

We study two empirical process of special structure: firstly, the centred multiplier process indexed by a class $F$, $f o \left|\sum_{i=1}^N (ξ_i f(X_i) - \E ξf) ight|$, where the i.i.d. multipliers $(ξ_i)_{i=1}^N$ need not be independent of $(X_i)_{i=1}^N$, and secondly, $(f,h) o \left|\sum_{i=1}^N (f(X_i)h(X_i)-\E f h) ight|$, the centred product process indexed by the classes $F$ and $H$. We use chaining methods to obtain high probability upper bounds on the suprema of the two processes using a natural variation of Talagrand's $γ$-functionals.

研究の動機と目的

• 乗数が設計変数と独立でない場合の乗数および積過程の上位の高確率的上界を導出すること。
• ガウス型でもi.i.d.でもない非ガウス的・非独立な構造を持つ乗数および積過程に対して、チェインジングに基づく手法を拡張すること。
• Talagrandの$\gamma$関数の改良版を導入し、$\xi F$や$F \cdot H$といった変換クラスを介さずに、$F$および$H$の複雑さを直接捉えること。
• 等方的・無条件的・対数凸な確率的ベクトルの文脈において、モーメント比較とメトリックエントロピーを活用して、既存の尾確率上界を改善すること。

提案手法

• $L_{(u^2 2^s)}$ノルムおよび$L_q$ノルムに基づいて定義される新たな複雑さパラメータ$\tilde{\Lambda}_{s_0,u}(F)$を導入することで、一般化されたチェインジング技法を乗数および積過程に適応する。
• 対称化とモーメント比較を用い、仮定2.2の修正版を満たす座標射影$P_\sigma F$によって、経験過程を制御する。
• 分割列$F_s$を用いたチェインジングの議論により、上位を$\gamma_{s_0,2}(F, L_q)$および$2^{s_0/2} \sup_f \|f\|_{L_q}$で上界付ける。
• $j_s = j_s(2p,q)$を用いた切り捨てスキームを導入し、インクリメント$\Delta_s f$および射影$\pi_s f$の$L_p$ノルムを確率的標本上で制御する。
• Bobkov-Nazarovの定理を用いて、対数凸なベクトルを指数的ベクトルで確率的に支配し、$\ell_\infty^n$および$\ell_2^n$におけるモーメント推定を可能にする。
• $s_0$および$u$における和集合による確率的バウンドを用い、最終的なバウンドとして$u^2 d_2(T) E(T)/\sqrt{N}$および$u^4 E^2(T)/N$を含むものに導く。

実験結果

リサーチクエスチョン

• RQ1 乗数$\xi_i$が設計変数$X_i$に依存する場合に、乗数過程に対して高確率的上界を確立できるか？
• RQ2 幾何的特徴（$F$および$H$の構造）を$F \cdot H$の特徴ではなく、$F$および$H$そのものに依存させることで、積過程$\sum_i f(X_i)h(X_i) - \mathbb{E}fh$の上位をチェインジング法で制御できるか？
• RQ3 非i.i.d.かつ非ガウス的設定下で、乗数および積過程の挙動を捉える最適な複雑さパラメータは何か？
• RQ4 対数凸およびサブガウスィアンな設定において、$L_q$ノルムに基づく$\gamma$関数と古典的な$\psi_2$に基づく複雑さ項はどのように比較できるか？
• RQ5 $\ell_2^n$および$\ell_\infty^n$におけるメトリックエントロピーを用いて、2次経験過程$\sum_i f^2(X_i) - \mathbb{E}f^2$の改善された尾確率上界を導出できるか？

主な発見

• 確率$1 - 2\exp(-c_1 u^2 2^{s_0})$以上で、座標射影$P_\sigma F$は$p=1$および$p=2$に対して仮定2.2の条件を満たし、チェインジングによる制御が可能である。
• 複雑さパラメータ$\Lambda(P_\sigma F)$は$u \tilde{\Lambda}_{s_0,u}(F)$で上界付けることができ、ここで$\tilde{\Lambda}_{s_0,u}(F) = \Lambda_{s_0,u}(F) + 2^{s_0/2} \sup_f \|f\|_{(u^2 2^s)}$であり、複雑さのより洗練された測度である。
• 量$\Theta(P_\sigma F)$は$\gamma_{s_0,2}(F, L_q) + 2^{s_0/2} \sup_f \|f\|_{L_q}$で上界付けることができ、これは$\sqrt{q} \tilde{\Lambda}_{s_0,2}(F)$で上界付けることができる。
• 等方的・無条件的・対数凸なベクトルに対しては、$\tilde{\Lambda}_{s_0,u}(F_T) \lesssim u \gamma_1(T, \ell_\infty^n) + \gamma_2(T, \ell_2^n)$が成り立ち、ガウス過程の期待上位と同等の大きさである。
• 2次過程の最終的な高確率的上界は、$\sup_{t \in T} \left| \frac{1}{N} \sum_i \langle X_i, t \rangle^2 - \mathbb{E} \langle X, t \rangle^2 \right| \leq c_2 \left( u^2 d_2(T) \frac{E(T)}{\sqrt{N}} + u^4 \frac{E^2(T)}{N} \right)$であり、既存の推定を改善する。
• このバウンドは[14]の確率的推定を改善し、第1項における$u^4$を$u^2$に置き換え、より洗練された複雑さ項を用いている。