[논문 리뷰] Concentration Inequalities for Bounded Random Vectors

Xinjia Chen|arXiv (Cornell University)|2013. 08. 30.

Probability and Risk Models참고 문헌 2인용 수 6

한 줄 요약

이 논문은 확률 단체에 제약을 받는 유계 랜덤 벡터에 대해 다변량 농도 부등식을 유도하며, 허프딩의 부등식을 벡터 값 랜덤 변수로 일반화한다. 주요 기여는 경험 평균 벡터가 기대값에서 벗어날 확률의 꼬리 확률에 대해 날카운 상한을 제공하는 것으로, 이 상한은 평균 벡터와 임계값 벡터를 포함한 가능도 비율의 곱으로 표현되며, 부분 순서 제약 조건 하에서 유효하다.

ABSTRACT

We derive simple concentration inequalities for bounded random vectors, which generalize Hoeffding's inequalities for bounded scalar random variables. As applications, we apply the general results to multinomial and Dirichlet distributions to obtain multivariate concentration inequalities.

연구 동기 및 목표

• 유계 랜덤 벡터에 대해 다변량 설정에서 성분의 합이 1 이하이고 비음수일 조건 하에서 날카운 농도 부등식을 유도하는 것.
• 허프딩의 부등식과 같은 스칼라 농도 부등식을 단체 제약 조건이 있는 벡터 값 랜덤 변수로 확장하는 것.
• 경험 평균 벡터가 기대값에서 벗어날 확률의 꼬리 확률에 대해 계산 가능한 상한을 제공하는 것.
• 일반 결과를 다항분포 및 딘치레트 분포와 같은 특정 분포에 적용하여 다변량 통계 모델에서의 확률적 분석을 가능하게 하는 것.

제안 방법

• 유계 랜덤 벡터를 이동 및 스케일링을 통해 확률 단체 내에 위치하는 벡터로 변환하여 단체 제약 조건 하에서의 분석을 가능하게 한다.
• 경험 평균 벡터의 꼬리 확률을 유계하기 위해 지수 기울기 변환을 사용한 다변량 마르코프 부등식을 사용한다.
• 임계값 벡터에서 유도된 최적의 라그랑주 승수를 선택하기 위해 변분 최적화 기법을 적용한다.
• 특정 $ t_\ell $ 값에서 최소화되는 함수 $ \mathscr{M}(t_1,\dots,t_k) = -\sum_{\ell=1}^k t_\ell z_\ell + \ln\left[\mu_0 + \sum_{\ell=1}^k \mu_\ell \exp(t_\ell)\right] $ 를 사용하여 임계 상한을 유도한다.
• 최적의 $ t_\ell = \ln\left(\frac{z_\ell \mu_0}{z_0 \mu_\ell}\right) $ 가 $ \boldsymbol{z} \leq \boldsymbol{\mu} $ 조건 하에서 가장 날카운 상한을 제공함을 증명한다.
• 로그 분할 함수에 대한 볼록성과 젠센의 부등식을 사용하여 부등식 $ \Pr\{\overline{\boldsymbol{\mathcal{X}}}_n \leq \boldsymbol{z}\} \leq \prod_{\ell=0}^k \left(\frac{\mu_\ell}{z_\ell}\right)^{n z_\ell} $ 를 증명한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 허프딩 유형의 농도 부등식을 단체 내에 제약을 받는 다변량 랜덤 벡터로 확장할 수 있는가?
• RQ2 경험 평균이 독립 동일분포 유계 랜덤 벡터에서 기대값에서 부분 순서 기준으로 벗어날 확률에 대해 가장 날카운 상한은 무엇인가?
• RQ3 유도된 부등식은 다항분포 및 딘치레트와 같은 고전적인 다변량 분포에 효과적으로 적용될 수 있는가?
• RQ4 다변량 경우에서 상한을 최소화하는 지수 기울기 파rameter의 최적 선택은 무엇인가?
• RQ5 단체 제약 조건의 구조는 유도된 농도 부등식의 형태와 날카움에 어떤 영향을 미치는가?

주요 결과

• 논문은 다변량 농도 부등식을 확립한다: $ \Pr\{\overline{\boldsymbol{\mathcal{X}}}_n \leq \boldsymbol{z}\} \leq \prod_{\ell=0}^k \left(\frac{\mu_\ell}{z_\ell}\right)^{n z_\ell} $, 조건 $ \boldsymbol{z} \leq \boldsymbol{\mu} $ 하에서, 이는 허프딩의 스칼라 부등식을 일반화한다.
• 상한은 지수 기울기 변환과 라그랑주 승수에 대한 최적화를 통해 유도되며, 최적의 $ t_\ell $ 값은 명시적으로 $ \ln\left(\frac{z_\ell \mu_0}{z_0 \mu_\ell}\right) $ 로 주어진다.
• 각 랜덤 벡터의 성분 합이 1 이하이고 비음수일 조건 하에서 부등식이 유효하며, 자연스러운 다변량 제약 조건을 모델링한다.
• 다항분포의 경우, 상한은 경험 빈도 벡터에 직접 적용되며 진짜 확률 벡터에서의 벗어남에 대한 꼬리 상한을 제공한다.
• 딘치레트 분포의 경우, 상한은 사후 평균에 적용되어 콘jugate 사전 분포 하에서 베이지안 추정에 대한 농도 결과를 제공한다.
• 유도된 상한은 날카롭고 지수 항에 칼리브라-라이블러 발산의 형태를 따르며, 큰 n 점근적 영역에서 최적성을 나타낸다.