[논문 리뷰] A Bernstein-type inequality for suprema of random processes with an application to statistics

Yannick Baraud|ArXiv.org|2009. 04. 21.

Probabilistic and Robust Engineering Design참고 문헌 17인용 수 4

한 줄 요약

이 논문은 탈라그랑드의 일반 체이닝 방법을 사용하여 랜덤 과정의 최대값에 대한 버니스타인 유형 부등식을 수립함으로써, 서브가우시안 랜덤 벡터의 선형 부분공간에 대한 사영의 제곱 노름에 대한 정밀한 분산 경계를 가능하게 한다. 주요 기여는 고차원, 비가우시안 설정으로 일반화된 고전적 버니스타인 경계를 확장한 비점근적 농도 부등식을 제공하는 것으로, 무거운 尾 꼬리 오차와 큰 모델 집합을 가진 회귀에서의 모델 선택에 직접 적용 가능하다.

ABSTRACT

We use the generic chaining device proposed by Talagrand to establish exponential bounds on the deviation probability of some suprema of random processes. Then, given a random vector $ξ$ in $\R^{n}$ the components of which are independent and admit a suitable exponential moment, we deduce a deviation inequality for the squared Euclidean norm of the projection of $ξ$ onto a linear subspace of $\R^{n}$. Finally, we provide an application of such an inequality to statistics, performing model selection in the regression setting when the errors are possibly non-Gaussian and the collection of models possibly large.

연구 동기 및 목표

• 서브가우시안 또는 서브지수 모멘트 조건 하에서 랜덤 과정의 최대값에 대한 정밀한 지수 분산 경계를 유도하기 위해.
• 고전적 버니스타인 부등식을 독립적 동일분포 또는 유한 증분 조건을 초월하여, 가능한 큰 집합으로 인덱싱된 랜덤 변수의 가측값으로 확장하기 위해.
• 서브가우시안 성분을 가진 랜덤 벡터의 선형 부분공간에 대한 사영의 제곱 노름에 대한 비점근적 농도 부등식을 제공하기 위해.
• 유도된 부등식을 고차원 회귀에서의 모델 선택에 적용하기 위해, 오차가 비가우시안이고 모델 집합이 클 경우에 적용 가능하도록 하기 위해.

제안 방법

• 지수 집합의 계층적 분할을 통한 경로의 증분 분해를 통해 탈라그랑드의 일반 체이닝 장치를 사용하여 랜덤 과정의 최대값을 제어하기 위해.
• 증분에 대한 라플라스 변환 조건을 적용: $\mathbb{E}[e^{\lambda X_t}] \leq \exp\left(\frac{\lambda^2 v^2}{2(1 - \lambda c)}\right)$ for $\lambda \in (0, c)$, 이는 유한성 조건을 일반화한다.
• 형태 $\mathbb{P}(Z \geq \mathbb{E}[Z] + \sqrt{(2v^2 + 2c\mathbb{E}[Z])u} + 3cu) \leq e^{-u}$ 의 분산 경계를 도출하며, 클라인 및 리오의 결과를 개선한 해석 가능성 향상으로 확장한다.
• 서브가우시안 성분을 가진 랜덤 벡터 $\xi \in \mathbb{R}^n$ 의 선형 부분공간에 대한 사영에 적용하여 $\|P\xi\|^2$ 를 유계로 제어하기 위해.
• 체이닝 프레임워크를 사용하여 지수 집합의 엔트로피를 제어하고 과정의 $\Lambda_2^2$ 및 $\Lambda_\infty$ 노름에 대한 경계를 도출하기 위해.
• 최종 부등식을 고정된 설계 행렬과 비가우시안 오차를 가진 회귀에서의 모델 선택에 적용하며, 유도된 농도 경계에 기반한 복잡도 페널티를 사용한다.

실험 결과

연구 질문

• RQ1 유한성 조건이 아닌 서브지수 모멘트 조건 하에서 랜덤 과정의 최대값에 대해 버니스타인 유형 부등식을 수립할 수 있는가?
• RQ2 일반 체이닝 방법을 어떻게 수정하여 비가우시안 랜덤 벡터의 사영에 대해 정밀한 비점근적 농도 부등식을 도출할 수 있는가?
• RQ3 고차원 설정에서 분산 확률이 분산 및 尾 꼬리 척도 파라미터에 대해 최적의 의존성은 무엇인가?
• RQ4 이러한 농도 부등식을 사용하여 비가우시안 오차와 큰 모델 집합을 가진 회귀에서의 모델 선택 절차를 정당화할 수 있는가?

주요 결과

• 논문은 서브가우시안 尾 꼬리 조건을 가진 랜덤 과정의 최대값에 대해 새로운 버니스타인 유형 부등식을 수립하여, 이전 결과보다 더 나은 수치 상수를 제공한다.
• 서브가우시안 성분을 가진 랜덤 벡터 $\xi \in \mathbb{R}^n$ 에 대해 $\mathbb{E}[e^{\lambda \xi_i}] \leq \exp(\lambda^2 \sigma^2 / 2)$ 를 만족할 경우, $d$-차원 부분공간에 대한 사영의 제곱 노름은 $\mathbb{P}(\|P\xi\|^2 \geq \mathbb{E}[\|P\xi\|^2] + 2\sigma^2 u + 2\sigma^2 \sqrt{2du}) \leq e^{-u}$ 를 만족한다.
• 유도된 부등식은 체이닝 기반 엔트로피 경계를 통한 모델 집합의 복잡도 제어를 통해, 모델 수가 클 경우에도 비가우시안 오차가 있는 회귀에서의 모델 선택을 가능하게 한다.
• 클래식 체이닝의 낙관적인 상수를 피하기 위해, 라플라스 변환 조건을 가진 체이닝 분해를 통해 최대값을 정밀하게 제어한다.
• 특정 모델 집합, 예를 들어 단계적 상수 또는 단계적 다항식 함수의 경우, 체이닝 노름 $\Lambda_2^2(\mathcal{S}_n)$ 과 $\overline{\Lambda}_\infty$ 에 대해 명시적인 경계를 도출하며, 설정에 따라 $\Lambda_2^2(\mathcal{S}_n) \leq \frac{1}{a^2 \log^2 n}$ 또는 $\frac{2(2\overline{D}+1)}{n}$ 이다.
• 최종 모델 선택 응용에서는 $\log n$ 비례하는 페널티 항을 사용하여, 무거운 尾 꼬리 분포 조건 하에서도 미약한 모멘트 조건 하에서 일致성을 확보한다.