[논문 리뷰] Upper bounds on product and multiplier empirical processes

Shahar Mendelson|arXiv (Cornell University)|2014. 10. 29.

Statistical Methods and Inference참고 문헌 15인용 수 7

한 줄 요약

이 논문은 탈라그랑드의 $\gamma$-기능과 체이닝 기법의 새로운 변형을 사용하여 슈퍼마를 포함한 승수 및 곱셈 경험 과정에 대해 고확률 상한을 수립한다. 이는 색인 클래스 $F$ 및 $H$의 기하학적 구조에 따라 결정되며, $L_q$-노름과 메트릭 엔트로피에 명시적인 의존성을 보이며, 로그-볼록성 및 서브-가우시안 설정에서 이전 결과를 향상시킨다.

ABSTRACT

We study two empirical process of special structure: firstly, the centred multiplier process indexed by a class $F$, $f o \left|\sum_{i=1}^N (ξ_i f(X_i) - \E ξf) ight|$, where the i.i.d. multipliers $(ξ_i)_{i=1}^N$ need not be independent of $(X_i)_{i=1}^N$, and secondly, $(f,h) o \left|\sum_{i=1}^N (f(X_i)h(X_i)-\E f h) ight|$, the centred product process indexed by the classes $F$ and $H$. We use chaining methods to obtain high probability upper bounds on the suprema of the two processes using a natural variation of Talagrand's $γ$-functionals.

연구 동기 및 목표

• 승수 $\xi_i$가 설계 변수 $X_i$와 반드시 독립이 아닐 경우, 승수 및 곱셈 경험 과정의 최대값에 대해 고확률 상한을 유도하는 것.
• 기존의 가우시안 또는 i.i.d. 가정이 아닌, 의존적인 구조를 가진 승수 및 곱셈 과정에 대해 체이닝 기반 방법을 확장하는 것.
• 타라그랑드의 $\gamma$-기능의 개선된 형태를 제안하여, $\xi F$ 또는 $F \cdot H$와 같은 변환된 클래스를 거치지 않고도 $F$ 및 $H$의 복잡성을 직접 캡처하는 것.
• 등방향, 무조건적, 로그-볼록 랜덤 벡터 설정에서 기존 꼬리 상한을 향상시키기 위해 모멘트 비교와 메트릭 엔트로피를 활용하는 것.

제안 방법

• 승수 및 곱셈 과정에 대해 일반적인 체이닝 기법을 적용하기 위해, $L_{(u^2 2^s)}$-노름과 $L_q$-노름에 기반한 새로운 복잡도 파라미터 $\tilde{\Lambda}_{s_0,u}(F)$를 정의한다.
• 대칭화와 모멘트 비교를 사용하여, 가정 2.2의 수정된 형태를 만족하는 좌표 투영 $P_\sigma F$를 통해 경험 과정을 제어한다.
• 분할 시퀀스 $F_s$를 사용한 체이닝 추론을 적용하여, $\gamma_{s_0,2}(F, L_q)$와 $2^{s_0/2} \sup_f \|f\|_{L_q}$를 이용해 최대값을 상한화한다.
• 무작위 표본에서 증분 $\Delta_s f$와 투영 $\pi_s f$의 $L_p$-노름을 제어하기 위해 $j_s = j_s(2p,q)$를 통한 절단 기법을 도입한다.
• 보브코프-나자로프 정리를 활용하여, 로그-볼록 벡터를 지수 분포로 스토하스틱하게 지배함으로써 $\ell_\infty^n$ 및 $\ell_2^n$에서의 모멘트 추정을 가능하게 한다.
• 모든 $s_0$ 및 $u$에 대한 유니언 바운드를 적용하여 고확률 상한을 도출하며, 최종 상한은 $u^2 d_2(T) E(T)/\sqrt{N}$ 및 $u^4 E^2(T)/N$를 포함한다.

실험 결과

연구 질문

• RQ1 승수 $\xi_i$가 설계 변수 $X_i$에 의존할 경우, 승수 과정에 대해 고확률 상한을 수립할 수 있는가?
• RQ2 승수 과정의 최대값을 제어하기 위해, $F \cdot H$의 특성보다 $F$ 및 $H$의 기하학적 특성을 직접 활용할 수 있는가?
• RQ3 비-i.i.d. 및 비-가우시안 설정에서 승수 및 곱셈 과정의 행동을 캡처하는 데 최적의 복잡도 파라미터는 무엇인가?
• RQ4 로그-볼록성 및 서브-가우시안 설정에서, $L_q$-노름에 기반한 $\gamma$-기능은 전통적인 $\psi_2$-기반 복잡도 항과 어떻게 비교되는가?
• RQ5 메트릭 엔트로피를 $\ell_2^n$ 및 $\ell_\infty^n$에서 활용하여, 이차 경험 과정 $\sum_i f^2(X_i) - \mathbb{E}f^2$의 개선된 꼬리 상한을 도출할 수 있는가?

주요 결과

• 확률 $1 - 2\exp(-c_1 u^2 2^{s_0})$ 이상으로, 좌표 투영 $P_\sigma F$는 $p=1$ 및 $p=2$일 때 가정 2.2의 조건을 만족하며, 이는 체이닝 제어를 가능하게 한다.
• 복잡도 파라미터 $\Lambda(P_\sigma F)$는 $u \tilde{\Lambda}_{s_0,u}(F)$로 상한화되며, 여기서 $\tilde{\Lambda}_{s_0,u}(F) = \Lambda_{s_0,u}(F) + 2^{s_0/2} \sup_f \|f\|_{(u^2 2^s)}$로 정의되어, 복잡성의 개선된 측정을 제공한다.
• $\Theta(P_\sigma F)$는 $\gamma_{s_0,2}(F, L_q) + 2^{s_0/2} \sup_f \|f\|_{L_q}$로 상한화되며, 이는 $\sqrt{q} \tilde{\Lambda}_{s_0,2}(F)$로도 상한화된다.
• 등방향, 무조건적, 로그-볼록 랜덤 벡터의 경우, $\tilde{\Lambda}_{s_0,u}(F_T) \lesssim u \gamma_1(T, \ell_\infty^n) + \gamma_2(T, \ell_2^n)$로 유도되며, 이는 가우시안 과정의 기대 최대값과 유사하다.
• 이차 과정에 대한 최종 고확률 상한은 $\sup_{t \in T} \left| \frac{1}{N} \sum_i \langle X_i, t \rangle^2 - \mathbb{E} \langle X, t \rangle^2 \right| \leq c_2 \left( u^2 d_2(T) \frac{E(T)}{\sqrt{N}} + u^4 \frac{E^2(T)}{N} \right)$로 표현되며, 이는 이전 추정치를 향상시킨다.
• 이 상한은 [14]의 확률 추정치를 개선하여 첫 번째 항에서 $u^4$를 $u^2$로 대체하고, 더 정교한 복잡도 항을 사용한다.