[논문 리뷰] Thinning and Information Projections

Peter Harremoës, Oliver Johnson외 1명|arXiv (Cornell University)|2016. 01. 17.

Risk and Portfolio Optimization인용 수 2

한 줄 요약

이 논문은 두드림 작용과 수직 다항식을 이용하여 정수 값을 갖는 분포와 포아송 분포 사이의 정보 발산에 대한 날카운 하한을 확립한다. 이는 두드림의 법칙에 대한 날카운 수렴 속도를 유도하고, 중심극한정리에 적용하여 두 번째 모멘트가 점차적으로 충분함을 보이며, 포아송-체일러 다항식과 정보 발산 부등식을 포함하는 명시적 상한을 제시한다.

ABSTRACT

In this paper we establish lower bounds on information divergence of a distribution on the integers from a Poisson distribution. These lower bounds are tight and in the cases where a rate of convergence in the Law of Thin Numbers can be computed the rate is determined by the lower bounds proved in this paper. General techniques for getting lower bounds in terms of moments are developed. The results about lower bound in the Law of Thin Numbers are used to derive similar results for the Central Limit Theorem.

연구 동기 및 목표

• 두드림의 법칙에서 수렴 속도를 정량화하기 위해 일반적인 정수 값을 갖는 분포와 포아송 분포 사이의 정보 발산에 대한 날카운 하한을 개발한다.
• 정수 값 분포에 대해 두드림 작용, 정보 발산, 수직 다항식(Poisson-Charlier) 간의 관계를 수립한다.
• 이러한 하한을 이용하여 이산 설정에서 중심극한정리에 대한 새로운 수렴 속도 결과를 도출한다.
• 정보 발산을 분석함으로써 두 번째 모멘트와 같은 모멘트 조건이 포아송 근사에서 어떤 역할을 하는지 명확히 한다.
• 특히 초대수-볼록성 및 이항형 분포 유사 분포에 대해 정보 투영과 발산에 대한 이해를 발전시킨다.

제안 방법

• 정수 값을 갖는 분포에 대한 α-두드림 작용을 자연지수가족을 유지하는 확률적 두드림 과정으로 정의한다.
• 정보 발산(Kullback-Leibler 발산)을 포아송 분포로부터의 거리 측정을 위한 주요 척도로 사용한다.
• 정보 발산의 피타고라스 부등식을 적용하여 평균과 분산이 고정된 지수가족에 대한 투영을 포함하는 성분으로 발산을 분해한다.
• 모멘트 제약 조건을 통한 발산의 날카운 하한을 도출하기 위해 포아송-체일러 다항식을 수직 기저 함수로 활용한다.
• 포아송-체일러 다항식의 볼록성과 극값 성질을 이용하여 최빈값 및 최빈값 근처 점에서의 확률 질량을 상한한다.
• λ(평균)의 구간별로 사례 분석을 수행하여 균일한 하한을 증명하며, 중요한 부분의 수치적 검증을 활용한다.

실험 결과

연구 질문

• RQ1 일반적인 정수 값을 갖는 분포와 포아송 분포 사이의 정보 발산에 대해 가능한 가장 날카운 하한은 무엇인가?
• RQ2 두드림의 법칙에서 수렴 속도는 특히 두 번째 모멘트와 어떻게 관련이 있는가?
• RQ3 두 번째 모멘트만으로 정보 발산 측면에서 포아송 근사의 품질이 어느 정도 결정되는가?
• RQ4 평균과 분산이 고정된 지수가족에 대한 정보 투영은 수렴 속도 상한을 어떻게 향상시킬 수 있는가?
• RQ5 포아송-체일러 다항식은 이산 극한정리에서 발산과 수렴 속도에 대한 날카운 하한을 유도하는 데 어떤 역할을 하는가?

주요 결과

• 논문은 날카운 하한을 증명한다: $ 2\big(D(X \parallel \text{Po}(\lambda))\big)^{1/2} \geq 1 - \frac{\text{Var}(X)}{\lambda} $, 이는 분산을 통해 포아송에서의 발산을 정량화한다.
• 이항분포 $ \text{Bi}(n, \lambda/n) $ 에 대해 정보 발산은 $ n^2 D(\text{Bi}(n, \lambda/n) \parallel \text{Po}(\lambda)) \to \frac{\lambda^2}{4} $ 로 수렴하며, 수렴 속도의 정확한 비율을 확립한다.
• 평균과 분산이 일치하는 최소 발산 투영 $ \text{Po}_\beta(\lambda) $ 로의 정보 발산은 $ n^2 D(\text{Bi}(n, \lambda/n) \parallel \text{Po}_\beta(\lambda)) \to 0 $ 으로 수렴하며, 두 번째 모멘트가 점차적으로 충분함을 보여준다.
• 논문은 $ \mathbb{E}[C_2^\lambda(X)] < \beta_0 $ 인 분포의 최빈값 $ \lceil \lambda \rceil $ 에서의 확률 질량이 $ \frac{1}{2} + \left( \frac{\lambda}{-\beta_0 2^{1/2} - 1} \right)^{1/2} $ 이하로 상한이 있음을 증명하며, 이는 총 변화 거리 상한을 도출하는 데 사용된다.
• 수치적 검증을 통해 유도된 정보 발산 상한이 모든 $ \lambda > 0 $ 에 대해 날카롭게 유지됨을 확인하였으며, 중요한 부분의 최악의 경우 편차는 1에서 0.93 이하이다.
• 피타고라스 부등식과 이항근사의 발산 속도를 조합함으로써, 이항분포가 점차적으로 평균과 분산이 고정된 최소 발산 지수가족에 수렴함을 보이며, 이는 이 맥락에서 두 번째 모멘트의 충분성을 확인한다.