[논문 리뷰] Multivariate Concentration Inequalities with Size Biased Couplings

Subhankar Ghosh, Ümi̇t Işlak|arXiv (Cornell University)|2013. 10. 21.

Stochastic processes and statistical mechanics참고 문헌 9인용 수 4

한 줄 요약

이 논문은 유한하고 0이 아닌 분산을 가진 비음수 랜덤 벡터에 대해 크기 편향 커플링을 사용하여 다변량 농도 부등식을 개발한다. 원래의 벡터와 커플링된 벡터 간의 차이의 L2 노름을 제한하는 크기 편향 커플링을 구성함으로써, 상하 두 꼬리에 대한 날카운 꼬리 경계를 유도하며, 이는 단변량 결과를 일반화하고 국소적으로 종속된 시스템 및 랜덤 순열에서 패턴 수를 세는 데의 응용을 가능하게 하며, 명시적인 농도 비율을 제공한다.

ABSTRACT

Let $\mathbf{W}=(W_1,W_2,...,W_k)$ be a random vector with nonnegative coordinates having nonzero and finite variances. We prove concentration inequalities for $\mathbf{W}$ using size biased couplings that generalize the previous univariate results. Two applications on local dependence and counting patterns are provided.

연구 동기 및 목표

• 의존적인 랜덤 벡터에 대해 단변량 크기 편향 커플링 기법을 다변량 설정으로 확장하기.
• 의존적인 랜덤 변수의 다변량 기능에 대한 점근적이지 않은 농도 부등식 유도하기.
• 이전 연구에서 하부 꼬리의 단조성 조건을 제거함으로써 더 날카운 꼬리 경계 제공하기.
• 두 가지 구체적 문제에 프레임워크 적용하기: 국소적으로 종속된 랜덤 변수와 랜덤 순열에서의 패턴 수.
• 커플링 노름과 분산 파rameter를 사용하여 명시적인 농도 비율 확립하기.

제안 방법

• 각 성분 $W_i$에 대해, 모든 적절한 함수 $f$에 대해 $\mathbb{E}[W_i f(\mathbf{W})] = \mu_i \mathbb{E}[f(\mathbf{W}^i)]$ 를 만족하는 다변량 크기 편향 커플링 $\mathbf{W}^i$ 정의하기.
• 일부 상수 $K > 0$ 에 대해 $\|\mathbf{W}^i - \mathbf{W}\|_2 \leq K$ 를 만족함으로써 커플링 이격도 제한하기.
• $K_1$ 과 $K_2$ 를 $K$, $\sigma_{(1)}$, 및 $\|\boldsymbol{\mu}/\boldsymbol{\sigma}\|_2$ 에서 유도하여, 정규화된 이격도 $\frac{\mathbf{W} - \boldsymbol{\mu}}{\boldsymbol{\sigma}}$ 에 대해 상하 꼬리 경계 유도하기.
• 적분 가능성 보장을 위해 $\|\boldsymbol{\theta}\|_2 \leq 2/K$ 인 경우 $\mathbb{E}[e^{\boldsymbol{\theta}^t \mathbf{W}}] < \infty$ 를 만족하는 조건 사용하기.
• 두 응용에 대한 명시적 커플링 구성하기: 슬라이딩 윈도우를 통한 국소적 종속성 및 순열 재정렬을 이용한 랜덤 순열에서의 패턴 수.
• 조합론적 추론을 통해 커플링 경계 검증하기, 패턴 수 계산의 경우 $\|\mathbf{W}^i - \mathbf{W}\|_2 \leq \sqrt{k}(2m-1)$ 를 얻기.

실험 결과

연구 질문

• RQ1 의존적인 랜덤 벡터에 대해 크기 편향 커플링 기법을 단변량에서 다변량 설정으로 확장할 수 있는가?
• RQ2 이전 연구보다 더 약한 가정 하에서, 특히 하부 꼬리의 단조성에 관해 어떻게 농도 부등식을 도출할 수 있는가?
• RQ3 커플링 이격도가 $L^2$ 에서 유계이면, 다변량 기능에 대해 명시적인 꼬리 경계는 무엇인가?
• RQ4 유도된 경계는 국소적으로 종속된 랜덤 변수와 랜덤 순열에서의 패턴 수에 어떻게 적용되는가?
• RQ5 이러한 응용에서 기존 방법보다 더 날카운 또는 더 일반적인 농도 결과를 이 프레임워크가 도출할 수 있는가?

주요 결과

• 논문은 단일 변수의 경우보다 단조성 조건을 제거함으로써 Ghosh와 Goldstein (2015)의 결과를 개선한 다변량 농도 부등식을 확립한다.
• 상부 꼬리의 경우 경계는 $\mathbb{P}\left(\frac{\mathbf{W}-\boldsymbol{\mu}}{\boldsymbol{\sigma}} \succeq \mathbf{t}\right) \leq \exp\left(-\frac{\|\mathbf{t}\|_2^2}{2(K_1 + K_2\|\mathbf{t}\|_2)}\right)$ 이며, $K_1 = \frac{2K}{\sigma_{(1)}}\left\|\frac{\boldsymbol{\mu}}{\boldsymbol{\sigma}}\right\|_2$ 와 $K_2 = \frac{K}{2\sigma_{(1)}}$ 이다.
• 하부 꼬리의 경우 경계는 $\mathbb{P}\left(\frac{\mathbf{W}-\boldsymbol{\mu}}{\boldsymbol{\sigma}} \preceq -\mathbf{t}\right) \leq \exp\left(-\frac{\|\mathbf{t}\|_2^2}{2K_1}\right)$ 이며, 이는 단일 변수의 경우에서 단조성 조건을 제거함으로써 향상된다.
• 국소적 종속성 설정에서는 커플링 노름이 $K = \sqrt{b}M$ 으로 유계지며, 여기서 $b$ 는 최대 중첩 변수 수이고 $M$ 은 최대 개별 이동 크기이다.
• 랜덤 순열에서의 패턴 수 계산의 경우, 커플링 노름은 $\|\mathbf{W}^i - \mathbf{W}\|_2 \leq \sqrt{k}(2m-1)$ 로 유계지며, 이는 $m$, $n$, $k$ 에 대한 $K_1$ 과 $K_2$ 의 명시적 표현을 이끌어낸다.
• 분산 하한 $\sigma_{(1)}^2 \geq \frac{n}{m!}\left(1 - \frac{2m-1}{m!}\right)$ 덕분에 $K_1$ 과 $K_2$ 에 더 큰 상수를 사용할 수 있으며, 이는 경계가 잘 정의되어 있음을 보장한다.