[논문 리뷰] Large Deviations of Vector-valued Martingales in 2-Smooth Normed Spaces

Anatoli Juditsky, Arkadii S. Nemirovski|arXiv (Cornell University)|2008. 09. 04.

Risk and Portfolio Optimization참고 문헌 11인용 수 46

한 줄 요약

이 논문은 유한차원 노름 공간에 2-스무쓰한 노름이 부여된 경우, 벡터 값 마틴갈에 대해 치수에 종속되지 않는 대규변 이론을 수립한다. $\kappa$-정규성이라는 개념을 도입함으로써, 제곱 노름이 리프시츠 연속 그라디언트를 가진 미분 가능 함수에 의해 잘 근사됨을 보이며, $\theta$가 치수에 의존하지 않고 노름의 스무쓰함에만 의존하는 형태의 지수 꼬리 경계 $\text{Prob}(\|\sum \xi_i\| > \theta + \gamma) \leq O(1)\exp\{-O(1)\gamma^\alpha\}$를 증명한다.

ABSTRACT

We derive exponential bounds on probabilities of large deviations for "light tail" martingales taking values in finite-dimensional normed spaces. Our primary emphasis is on the case where the bounds are dimension-independent or nearly so. We demonstrate that this is the case when the norm on the space can be approximated, within an absolute constant factor, by a norm which is differentiable on the unit sphere with a Lipschitz continuous gradient. We also present various examples of spaces possessing the latter property.

연구 동기 및 목표

• 유한차원 노름 공간에서의 벡터 값 마틴갈 노름에 대해 날카롭고 치수에 종속되지 않는 지수 꼬리 경계를 수립하는 것.
• 스칼라 마틴갈에 대한 대규변 이론 경계가 치수에 의존하는 팽창 없이, 벡터 값 설정으로 확장될 수 있는 조건을 규명하는 것.
• $\kappa$-정규성의 개념을 도입하고, 이가 이러한 경계가 중간 정도의 $\theta$로 성립하는 데 충분한 조건임을 특성화하는 것.
• 행렬 값 마틴갈 및 기타 유클리드가 아닌 설정에 적용 가능한 일반적 프레임워크를 제공하는 것.

제안 방법

• 노름 $\|\cdot\|$가 점별적으로 $\kappa_+$-스무쓰하고 단위 구면에서 리프시츠 연속 그라디언트를 가진 노름 $\|\cdot\|_+$에 상수 배수 내에 있을 경우, 노름이 $\kappa$-정규성을 가진다고 정의한다.
• 측도 전환 기법과 볼록 함수 $\psi_n$에 의한 모멘트 생성 함수 제어를 통해 마틴갈 증분을 $\sigma_n^2$ 기반으로 제한한다.
• 변형된 마틴갈 증분에 대해 보다 정교한 아즈마-후프딩 부등식을 적용하며, 하위가우시안 또는 하위웨이불 꼬리 가정을 활용한다.
• 파arameter $\beta$에 대한 최적화를 통해 일반적인 대규변 경계를 유도하며, 이로 인해 치수에 종속되지 않는 꼬리 감쇠율을 도출한다.
• 이중 노름 구조와 스무쓰함 모듈러스 분석을 활용하여, $\ell_p^n$ 및 샤텐 $p$-노름 공간과 같은 핵심 공간에서 $\kappa$-정규성 조건이 만족됨을 보장한다.
• 경우적 모멘트 경계와 경량 꼬리 가정 하에서 지수 모멘트 제어에 기반한 증명 전략을 통해 경계를 검증한다.

실험 결과

연구 질문

• RQ1 노름 공간에 어떤 조건이 성립할 경우, 벡터 값 마틴갈에 대한 대규변 이론 경계가 치수에 종속되지 않을 수 있는가?
• RQ2 노름의 제곱 함수의 스무쓰함이 어떻게 벡터 값 마틴갈의 농도에 영향을 미치는가?
• RQ3 일부 노름 클래스에 대해, 경계에서 상수 $\theta$를 치수 $n$에 종속되지 않게 만들 수 있는가?
• RQ4 $\kappa$-정규성이 하위가우시안 또는 하위웨이불 꼬리 행동을 보장하기 위해 수행하는 역할은 무엇인가?
• RQ5 클래식한 공간들(예: $\ell_p^n$, 행렬 샤텐 공간) 중에서 어떤 것이 중간 정도의 $\kappa$로 $\kappa$-정규성 조건을 만족하는가?

주요 결과

• 논문은 노름 공간이 $\kappa$-정규성일 경우, $\theta$가 치수 $n$에 의존하지 않고 $\kappa$에만 의존하는 대규변 경계 $\text{Prob}(\|\sum \xi_i\| > \theta + \gamma) \leq O(1)\exp\{-O(1)\gamma^\alpha\}$가 성립함을 수립한다.
• $p \in [2, \infty]$에 대해 $\ell_p^n$ 공간은 $\kappa = O(1)\min(p, \ln(n+1))$로 $\kappa$-정규성이며, 이는 치수에 따라 변하지만 중간 정도의 $\theta$를 보장한다.
• $m \times n$ 행렬에 대해 샤텐 $p$-노름을 사용할 경우 $p \in [2, \infty]$이면 $\kappa = O(1)\min(p, \ln(m+1), \ln(n+1))$로 $\kappa$-정규성이며, 다시 중간 정도의 $\theta$를 얻는다.
• 노름이 $\kappa = O(1)$로 $\kappa$-정규성일 경우 경계는 치수에 종속되지 않으며, 이는 $\ell_2^n$ 또는 힐베르트-슈미트 행렬에서 성립한다.
• 증명은 경량 꼬리 증분 하에서 스칼라 경우와 유사한 방식으로 지수 꼬리 감쇠율 $\gamma^\alpha$를 달성하며, $\alpha \in [1,2]$이다.
• 증명은 볼록 쌍대 함수의 새로운 응용과 모멘트 생성 함수 제어에 기반하며, 치수에 종속되는 농도 부등식을 피한다.