[논문 리뷰] Weak transport inequalities and applications to exponential inequalities and oracle inequalities

Olivier Wintenberger|arXiv (Cornell University)|2012. 07. 20.

Markov Chains and Monte Carlo Methods참고 문헌 38인용 수 5

한 줄 요약

이 논문은 유클리드 노름을 기반으로 한 약한 운반 부등식을 도입하여 종속적인 시간열 설정에서 차원에 영향을 받지 않는 농도 부등식과 빠른 수렴 속도를 확립한다. 마르톤의 프레임워크를 확장하고 궤적 결합 기법을 사용하여, 고전적인 수축 조건이 실패할 경우에도 빠른 $n^{-1}$ 수렴 속도를 달성하는 새로운 지수적 및 오라클 부등식을 유도한다. 이는 약한 의존성 하에서 일반 최소 제곱 추정에 응용된다.

ABSTRACT

We extend the dimension free Talagrand inequalities for convex distance \cite{talagrand:1995} using an extension of Marton's weak transport \cite{marton:1996a} to other metrics than the Hamming distance. We study the dual form of these weak transport inequalities for the euclidian norm and prove that it implies sub-gaussianity and convex Poincaré inequality \cite{bobkov:gotze:1999a}. We obtain new weak transport inequalities for non products measures extending the results of Samson in \cite{samson:2000}. Many examples are provided to show that the euclidian norm is an appropriate metric for classical time series. Our approach, based on trajectories coupling, is more efficient to obtain dimension free concentration than existing contractive assumptions \cite{djellout:guillin:wu:2004,marton:2004}. Expressing the concentration properties of the ordinary least square estimator as a conditional weak transport problem, we derive new oracle inequalities with fast rates of convergence in dependent settings.

연구 동기 및 목표

• 제품 측도와 함밍 거리 이외의 설정으로 차원에 영향을 받지 않는 농도 부등식을 약한 운반 부등식을 통해 확장하기.
• 비-i.i.d. 설정에서 수축 조건과 스펙트럼 갭 조건의 한계를 극복하기.
• 약한 의존성 시간열에서 오라클 부등식의 빠른 $n^{-1}$ 수렴 속도를 도출하기.
• 약한 운반 부등식과 정규분포에 가까운 성질 또는 볼록 파인카레 부등식 사이의 연결 고리 설정하기.
• 표준 혼합 또는 수축 조건을 만족하지 않는 고전적 시간열 모델에 적용 가능한 프레임워크 제공하기.

제안 방법

• 유클리드 노름을 거리 $d$로 사용하여 마르톤의 원래 수식을 일반화한 새로운 약한 운반 부등식 클래스 $\tilde{T}_{p,d}(C)$ 제안.
• 이중성 원리를 적용하여 유클리드 노름 기반 약한 운반 부등식이 정규분포에 가까운 尾 꼬리와 볼록 파인카레 부등식을 유도함을 보임.
• 궤적 결합 기법을 활용하여 수축 또는 스펙트럼 갭 조건에 의존하지 않는 차원에 영향을 받지 않는 농도 도출.
• 시온의 최소 최대 정리를 사용하여 약한 운반 부등식과 특정 지수 모멘트 경계 사이의 동치성 확립.
• 일반 최소 제곱 추정량을 조건부 약한 운반 문제로 재구성하여 프레임워크 적용.
• $\tilde{\Gamma}$-약한 의존성 하에서 베르누이 타입 조건을 통한 분산 항 제어를 통해 빠른 $n^{-1}$ 수렴 속도를 갖는 오라클 부등식 유도.

실험 결과

연구 질문

• RQ1 유클리드 노름 기반 약한 운반 부등식은 비-i.i.d. 설정에서 차원에 영향을 받지 않는 농도를 유도할 수 있는가?
• RQ2 제안된 프레임워크는 종속적인 시간열에서 오라클 부등식의 빠른 $n^{-1}$ 수렴 속도를 달성할 수 있는가?
• RQ3 분산 제어 및 초과 위험 추정 측면에서 유클리드 거리와 함밍 거리 사이의 비교는 어떠한가?
• RQ4 약한 운반 부등식을 사용하여 마르코프 시간열에서 수축 또는 스펙트럼 갭 조건의 필요성을 회피할 수 있는가?
• RQ5 $\tilde{\Gamma}$-약한 의존성 조건은 새로운 운반 프레임워크 하에서 빠른 수렴 속도를 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 유클리드 노름 기반 약한 운반 부등식의 이중 형태는 정규분포에 가까운 성질과 볼록 파인카레 부등식을 유도한다.
• 제안된 약한 운반 부등식 $\tilde{T}_{2,d}(C)$ 는 제품 측도가 아닌 경우에도 차원에 영향을 받지 않는 농도를 제공하며, 샘슨의 결과를 확장한다.
• 수축 조건이 없더라도 $\tilde{\Gamma}$-약한 의존성 하에서 빠른 $n^{-1}$ 수렴 속도를 갖는 새로운 오라클 부등식을 도출한다.
• 농도 경계에 초과 위험 $Q[\overline{R}(\hat{\theta})]$ 가 나타나며, 이는 티르세론 타입 부등식보다 더 엄밀한 제어를 가능하게 한다.
• 분산 항이 랜덤 재생 사이클에 의해 교란될 경우에도, 이 프레임워크는 i.i.d. 경우와 유사한 빠른 수렴 속도를 달성한다.
• 고전적 수축 결합 또는 허프딩 타입 부등식보다 효율적이며, 후자는 오직 $n^{-1/2}$ 수렴 속도만을 제공한다.