[논문 리뷰] A multivariate generalization of Hoeffding's inequality

Péter Major|ArXiv.org|2004. 11. 12.

Point processes and geometric inequalities참고 문헌 8인용 수 9

한 줄 요약

이 논문은 Rademacher 랜덤 변수에 대한 동차 다항식에 대한 Hoeffding 부등식의 다변량 일반화를 수립하며, 이러한 다항식의 꼬리 확률이 편차의 $k$-제곱근에 대해 가우시안처럼 감소함을 증명한다. 이때 전처리 상수는 $k$에만 의존한다. 핵심 결과는 $
\mathbb{E}[Z^{2M}] \leq 1\cdot3\cdot5\cdots(2kM-1)
\cdot V^{2M}$ 라는 모멘트 부등식으로, 꼬리 유계와 동치이며, $n$ 이론적으로 큰 근처에서 정확하다.

ABSTRACT

We prove a multivariate version of Hoeffding's inequality about the distribution of homogeneous polynomials of Rademacher functions. The proof is based on such an estimate about the moments of homogeneous polynomials of Rademacher functions which can be considered as an improvement of Borell's inequality in a most important special case.

연구 동기 및 목표

• Rademacher 랜덤 변수의 순서 $k \geq 2$인 동차 다항식으로 Hoeffding의 고전적 부등식을 확장한다.
• Wiener–Itô 혼합 전개의 渐近적 행동과 일치하는 꼬리 확률 유계를 도출한다.
• 대칭적이고 동차인 경우 Borell의 부등식을 개선하는 Rademacher 혼합에 대한 날카운 모멘트 부등식을 수립한다.
• 다이어그램 분석을 통해 $U$-통계량과 다중 스토케스틱 적분의 측도 집중에 대한 엄밀한 기초를 제공한다.

제안 방법

• 대칭 계수와 분산 $V^2 = \sum a^2(j_1,\dots,j_k)$를 가진 동차 다항식 $Z = \sum_{\text{distinct } j_1,\dots,j_k} a(j_1,\dots,j_k) \varepsilon_{j_1} \cdots \varepsilon_{j_k}$ 를 정의한다.
• 다이어그램 전개를 사용하여 모멘트 부등식 $\mathbb{E}[Z^{2M}] \leq 1\cdot3\cdot5\cdots(2kM-1) \cdot V^{2M}$ 을 증명한다.
• 독립 동일분포 표준 정규 변수 $\eta_j$ 를 가진 대칭화된 가우시안 버전 $\bar{Z}$ 를 도입하고, 레마 1을 통해 $\mathbb{E}[Z^{2M}] \leq \mathbb{E}[\bar{Z}^{2M}]$ 를 보인다.
• Wiener–Itô 혼합의 다이어그램 공식을 사용하여 $\mathbb{E}[Z^{2M}]$ 을 $2M$개의 복제본에 대한 쌍체 $\gamma \in \Gamma(k,\dots,k)$ 에 대한 합으로 표현한다.
• 이러한 쌍체의 수를 $1\cdot3\cdot5\cdots(2kM-1)$ 으로 유계화하여, $k$-차 가우시안 혼합의 모멘트 유계와 일치시킨다.
• 꼬리 유계 $\mathbb{P}(|Z| > u) \leq A \exp\left\{ -\frac{1}{2} \left( \frac{u}{V} \right)^{2/k} \right\}$ 를 유도하며, $A$ 는 $k$ 에만 의존한다.

실험 결과

연구 질문

• RQ1 Hoeffding의 부등식은 순서 $k \geq 2$인 Rademacher 혼합으로 일반화될 수 있는가?
• RQ2 이러한 혼합의 날카운 꼬리 감쇠율은 무엇이며, 동일한 순서의 가우시안 혼합과 비교해 볼 때 어떻게 되는가?
• RQ3 Rademacher 혼합에 대해 $\mathbb{E}[Z^{2M}] \leq 1\cdot3\cdot5\cdots(2kM-1) \cdot V^{2M}$ 이라는 모멘트 유계는 최적인가?
• RQ4 Borell의 부등식과 비교할 때 Rademacher 혼합의 맥락에서 이 결과는 어떻게 되는가?
• RQ5 정규화된 Rademacher 혼합의 점근적 분포를 사용하여 꼬리 유계의 지수의 날카움을 정당화할 수 있는가?

주요 결과

• 순서 $k$인 동차 Rademacher 혼합의 꼬리 확률은 모든 $u \geq 0$ 에 대해 $\mathbb{P}(|Z| > u) \leq A \exp\left\{ -\frac{1}{2} \left( \frac{u}{V} \right)^{2/k} \right\}$ 를 만족하며, $A > 0$ 는 $k$ 에만 의존한다.
• 모멘트 부등식 $\mathbb{E}[Z^{2M}] \leq 1\cdot3\cdot5\cdots(2kM-1) \cdot V^{2M}$ 은 모든 $M \geq 1$ 에 대해 성립하며, 특정 계수 선택에서 $n$ 이 매우 클 때 등호가 성립한다.
• 꼬리 유계의 지수 $\left( \frac{u}{V} \right)^{2/k}$ 는 정규화된 혼합이 $V \cdot H_k(\eta)$ 로 수렴함으로써 날카롭다는 것이 입증된다. 여기서 $H_k$ 는 $k$-번째 에르미트 다항식이며 $\eta \sim N(0,1)$ 이다.
• 모멘트 유계는 추가적인 계수에 대한 가정 없이도 더 나은 지수를 얻을 수 없음을 의미하여 최적이다.
• 증명은 다이어그램 전개에 기반하며, 쌍체의 수 $|\Gamma(k,\dots,k)|$ 는 $1\cdot3\cdot5\cdots(2kM-1)$ 으로 유계화되며, 이는 $k$-차 가우시안 혼합의 모멘트와 일치한다.
• 이 부등식은 전처리 상수 $A$ 를 제거하면 유계가 유지되지 않으며, 지수는 최종 Wiener–Itô 혼합의 점근적 꼬리 행동과 일치하므로 날카롭다.