[논문 리뷰] A Likelihood Ratio Approach for Probabilistic Inequalities

Xinjia Chen|arXiv (Cornell University)|2013. 08. 18.

Probabilistic and Robust Engineering Design참고 문헌 11인용 수 4

한 줄 요약

이 논문은 모멘트 생성 함수에 의존하지 않고 더 날카럽고 일반적인 확률 부등식을 유도하기 위해 우도 비율 접근법을 제안한다. 단조 우도 비율을 활용하고 매개변수화된 경계 함수에 대해 최적화함으로써, 고전적인 체르노프 유형 부등식을 뛰어넘는 개선된 집중 경계를 도출한다. 특히 행렬 값 및 꼬리가 두꺼운 분포에 대해 뛰어난 성능을 발휘한다.

ABSTRACT

We propose a new approach for deriving probabilistic inequalities based on bounding likelihood ratios. We demonstrate that this approach is more general and powerful than the classical method frequently used for deriving concentration inequalities such as Chernoff bounds. We discover that the proposed approach is inherently related to statistical concepts such as monotone likelihood ratio, maximum likelihood, and the method of moments for parameter estimation. A connection between the proposed approach and the large deviation theory is also established. We show that, without using moment generating functions, tightest possible concentration inequalities may be readily derived by the proposed approach. We have derived new concentration inequalities using the proposed approach, which cannot be obtained by the classical approach based on moment generating functions.

연구 동기 및 목표

• 고전적인 방법(예: 체르노프 경계)을 넘어서 더 일반적이고 강력한 확률 부등식 유도 프레임워크를 개발하기 위해.
• 일부 분포에 대해 계산이 불가능하거나 정의되지 않을 수 있는 모멘트 생성 함수에 대한 의존도 제거하기 위해.
• 제안된 방법과 단조 우도 비율, 최대우도 추정, 모멘트 방법과 같은 핵심 통계 개념 간의 관계를 설정하기 위해.
• 고전적인 모멘트 생성 함수 기반 접근법으로는 도달할 수 없는 새로운 집중 부등식을 도출하기 위해.
• 고차원 및 행렬 값 설정에서 꼬리 확률에 대해 더 날카르고 통찰력 있는 경계를 제공하기 위해.

제안 방법

• 이벤트의 지시 함수를 매개변수화된 함수 $ w(\boldsymbol{X}, \boldsymbol{\theta}) $ 를 사용해 경계화함으로써 확률 부등식을 수립하며, 거의 확실히 $ \mathbb{I}_{\{\boldsymbol{X} \in \mathscr{E}\}} \leq w(\boldsymbol{X}, \boldsymbol{θ}) $ 를 만족시킴.
• 모든 $ \boldsymbol{θ} \in \Theta $ 에 대해 기대값 $ \mathbb{E}[w(\boldsymbol{X}, \boldsymbol{θ})] $ 의 최소화를 통해 $ \Pr\{\boldsymbol{X} \in \mathscr{E}\} $ 에 대한 가장 날카운 상한을 확보함.
• 우도 비율 프레임워크를 도입하여 밀도 비율에서 경계를 도출함. 특히 $ \rho(\boldsymbol{x}, \boldsymbol{\theta}) = \alpha \ln|\boldsymbol{\theta}| - \frac{1}{\beta} \text{tr}(\boldsymbol{\theta}^{-1}\boldsymbol{x}) $ 를 사용함. 이는 $ \boldsymbol{x} $ 에 대해 선형임.
• 이 방법을 워시아르트 분포를 따르는 랜덤 행렬에 적용하여, $ \boldsymbol{\theta} \succ \boldsymbol{\Sigma} $ 에 대한 최적화를 통해 $ \Pr\{\overline{\boldsymbol{\mathcal{X}}}_n \succ \boldsymbol{z}\} $ 와 $ \Pr\{\overline{\boldsymbol{\mathcal{X}}}_n \prec \boldsymbol{z}\} $ 의 경계를 도출함.
• 닫힌 형태로 경계를 표현하기 위해 항등식 $ \frac{f(\boldsymbol{z})}{g(\boldsymbol{z}, \boldsymbol{\theta})} = \left(\frac{e}{\alpha\beta}\right)^{p\alpha} \left(\frac{|\boldsymbol{z}|}{|\boldsymbol{\Sigma}|}\right)^\alpha \exp\left(-\frac{1}{\beta}\text{tr}(\boldsymbol{\Sigma}^{-1}\boldsymbol{z})\right) $ 를 사용함.
• 최종 경계 $ \Pr\{\boldsymbol{X} \succ \varrho\alpha\beta\boldsymbol{\Sigma}\} \leq \left[\varrho \exp(1 - \varrho)\right]^{np\alpha} $ 를 유도함. 이는 $ \varrho \geq 1 $ 에 대해 성립하며, $ \varrho \in (0,1] $ 에 대해서는 대칭 경계가 존재함.

실험 결과

연구 질문

• RQ1 우도 비율 프레임워크는 고전적인 모멘트 생성 함수 기반 방법보다 더 날카운 집중 부등식을 도출할 수 있는가?
• RQ2 제안된 방법은 단조 우도 비율 및 최대우도 추정과 같은 기존 통계 개념과 어떻게 관련이 있는가?
• RQ3 이 방법은 체르노프 또는 후프딩 유형 경계로는 도달할 수 없는 새로운 부등식을 도출할 수 있는가?
• RQ4 모수 최적화가 기대 경계 함수를 최소화하여 가장 날카운 꼬리 경계를 달성하는 데 어떤 역할을 하는가?
• RQ5 이 방법은 특히 워시아르트 분포를 따르는 행렬 값 랜덤 변수로 어떻게 일반화될 수 있는가?

주요 결과

• 우도 비율 접근법은 모멘트 생성 함수가 정의되지 않거나 계산이 어려운 경우를 포함해 고전적 방법보다 더 날카운 집중 부등식을 도출한다.
• 이 방법은 단조 우도 비율, 최대우도 추정, 모멘트 방법과 같은 핵심 통계 개념과 직접적인 연결 고리를 형성한다.
• 워시아르트 분포를 따르는 행렬에 대해, $ \Pr\{\boldsymbol{X} \succ \varrho\alpha\beta\boldsymbol{\Sigma}\} \leq \left[\varrho \exp(1 - \varrho)\right]^{np\alpha} $ 를 도출하였으며, 이는 모멘트 생성 함수 기반 기법으로는 도달할 수 없는 결과이다.
• 경계는 $ \boldsymbol{\theta} = \frac{\boldsymbol{z}}{\alpha\beta} $ 로 설정함으로써 최적화되며, 주어진 조건 하에서 이 표현식이 날카로운 경계임이 입증됨.
• 이 방법은 모멘트 생성 함수를 완전히 회피함으로써, 꼬리가 두꺼운 분포 또는 지수족 외의 분포에 대해서도 집중 부등식을 도출할 수 있음.
• 대칭적 유도를 통해 상하 꼬리 경계 모두 일반화 가능하며, $ \varrho \in (0,1] $ 에 대해 $ \Pr\{\boldsymbol{X} \prec \varrho\alpha\beta\boldsymbol{\Sigma}\} \leq \left[\varrho \exp(1 - \varrho)\right]^{np\alpha} $ 를 도출함.