[논문 리뷰] Tail bounds via generic chaining

Sjoerd Dirksen|arXiv (Cornell University)|2013. 09. 13.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 13

한 줄 요약

이 논문은 모든 $p$-번째 모멘트에 대한 최대값의 직접적인 경계를 제공하기 위해 일반 사슬법을 수정한 방법을 제안한다. 이는 최적의 분산 매개변수를 가진 날카운 꼬리 경계를 가능하게 하며, 유계가 아니거나 상관이 있는 경험 과정과 카오스 과정에 대해 향상된 분산 부등식을 도출한다. 또한 부분적으로 추출된 이산 푸리에 변환에 대한 제한된 이sov메트릭 성질의 증명을 단순화한다.

ABSTRACT

We modify Talagrand's generic chaining method to obtain upper bounds for all p-th moments of the supremum of a stochastic process. These bounds lead to an estimate for the upper tail of the supremum with optimal deviation parameters. We apply our procedure to improve and extend some known deviation inequalities for suprema of unbounded empirical processes and chaos processes. As an application we give a significantly simplified proof of the restricted isometry property of the subsampled discrete Fourier transform.

연구 동기 및 목표

• 일반 사슬법을 사용하여 스토크라스틱 과정의 최대값에 대한 상단 꼬리 경계를 직접 유도하는 방법을 개발한다.
• 일반 사슬법을 확장하여 기대값 이외에도 최대값의 모든 $p$-번째 모멘트를 추정한다.
• 유계가 아니거나 상관이 있는 경험 과정과 카오스 과정에 대해 날카운 분산 부등식을 제공한다.
• 부분적으로 추출된 이산 푸리에 변환에 대한 제한된 이sov메트릭 성질(RIP)의 증명을 단순화한다.
• 탈라그랑드의 책에서 제기된 혼합 서브가우시안-서브지수 과정에 대한 꼬리 경계에 관한 미해결 문제를 해결한다.

제안 방법

• 모든 $p \geq 1$에 대해 $\left(\mathbb{E}\sup_{t\in T}|X_t|^p\right)^{1/p}$에 대한 경계를 도출하기 위해 일반 사슬 절차를 수정한다.
• 메트릭 복잡도를 측정하기 위해 $\gamma_2$-기능의 잘린 형태인 $\gamma_{2,p}$를 도입한다.
• 최적의 분산 매개변수를 가진 꼬리 경계를 유도하기 위해 $p$-번째 모멘트에 마르코프 부등식을 적용한다.
• 지수적으로 감소하는 증분을 가지는 과정과 혼합 서브가우시안-서브지수 꼬리가 있는 과정에 이 방법을 적용한다.
• 사건의 합집합과 서브지수 꼬리에 대한 꼬리 확률 및 모멘트 경계에 관한 보조 보조정리를 활용한다.
• 특정 $L^p$-경계를 사용하여 $\mathbb{P}(\sup_t |X_t| \geq C\gamma_2(T,d) + uD\sigma) \leq e^{-u^2/2}$ 형태의 꼬리 부등식을 유도한다. 여기서 $u \geq 1$이다.

실험 결과

연구 질문

• RQ1 일반 사슬법은 스토크라스틱 과정의 최대값에 대한 모든 $p$-번째 모멘트를 직접 경계하는 데 적응시킬 수 있는가?
• RQ2 스토크라스틱 과정의 최대값에 대한 꼬리 경계에서 최적의 분산 매개변수는 무엇이며, 일반 사슬법을 통해 이를 달성할 수 있는가?
• RQ3 이 방법은 비유계이거나 상관이 있는 경험 과정에 대해 날카운 꼬리 경계를 도출할 수 있는가?
• RQ4 이 방법은 압축 측정에서 제한된 이sov메트릭 성질(RIP)에 대한 기존 증명을 단순화하거나 향상시킬 수 있는가?
• RQ5 이 방법은 탈라그랑드가 제기한 혼합 서브가우시안-서브지수 과정에 대한 꼬리 경계에 관한 미해결 문제를 해결하는가?

주요 결과

• 중앙 가우시안 과정에 대해 $\left(\mathbb{E}\sup_{t\in T}|X_t|^p\right)^{1/p} \leq C\gamma_{2,p}(T,d) + D\sigma\sqrt{p}$ 를 확립한다. 여기서 $\sigma^2 = \sup_t \mathbb{E}(X_t^2)$이다.
• 꼬리 경계가 유도된다: $\mathbb{P}(\sup_t |X_t| \geq \sqrt{e}(C\gamma_2(T,d) + uD\sigma)) \leq e^{-u^2/2}$, $u \geq 1$일 때, 이는 상수의 차이를 제외하고 기존의 날카운 경계와 정확히 일치한다.
• 이 방법은 부분적으로 추출된 이산 푸리에 변환에 대한 제한된 이sov메트릭 성질의 증명을 단순화한다. 이는 유계 정규직교 체계에 적용 가능하다.
• 이 접근법은 $\mathbb{E}|\sum X_i^2|$ 형태의 경험 과정의 최대값에 대한 새로운 $L^p$-경계를 제공하며, 멘델슨, 파조르, 톰차카-자에르만의 결과를 확장한다.
• 이 방법은 두 번째 차수 카오스 과정에 적용 가능하며, 이러한 과정에 대해 향상된 분산 부등식을 제공한다.
• 복잡한 도구인 엔트로피 방법을 피하고, 모멘트 추정과 유니온 바운드에 의존함으로써 접근법이 간단하고 일반적으로 적용 가능하다.