[논문 리뷰] Lower bounds on Information Divergence

Peter Harremoës, Christophe Vignat|arXiv (Cornell University)|2011. 02. 12.

Statistical Mechanics and Entropy참고 문헌 10인용 수 4

한 줄 요약

이 논문은 헤르미트, 라거르, 샤를리에 다항식과 같은 직교 다항식 및 모멘트 기반 기법을 사용하여 정규분포, 포isson, 지수, 감마 분포와 같은 지수족에 대한 정보 발산(Kullback-Leibler 발산)의 날카운 하한을 확립한다. 주요 기여는 직교 다항식의 모멘트를 이용한 발산 하한을 일반적으로 유도하는 방법으로, 특히 초과첨도를 활용한 표준 정규분포로부터의 발산에 대해 이차 하한을 명시적으로 제공한다.

ABSTRACT

In this paper we establish lower bounds on information divergence from a distribution to certain important classes of distributions as Gaussian, exponential, Gamma, Poisson, geometric, and binomial. These lower bounds are tight and for several convergence theorems where a rate of convergence can be computed, this rate is determined by the lower bounds proved in this paper. General techniques for getting lower bounds in terms of moments are developed.

연구 동기 및 목표

• 정규, 포isson, 지수, 감마, 이항, 기하 분포와 같은 중요한 지수족으로부터의 정보 발산에 대해 날카운 하한을 유도하는 것.
• 직교 다항식의 모멘트와 삼각함수를 이용한 정보 발산을 유 bounds하는 일반 기법을 개발하는 것.
• 이러한 하한을 통해 정보이론적 극한정리에서 수렴 속도를 정량적으로 기술하는 것.
• 고차 모멘트를 기반으로 한 추측된 보편 하한의 타당성을 조사하고, 반례를 통해 그 한계를 시험하는 것.

제안 방법

• 자연 매개변수로 매개변수화된 지수족을 사용하며, Radon-Nikodym 도함수는 exp(β·x)/Z(β) 형태를 가지며, 여기서 Z(β)는 모멘트 생성 함수이다.
• 발산 함수 D(Q^μ || Q^ν)에 타일러 전개를 적용하고, μ와 ν 사이의 어떤 η에 대해 분산 함수 V(η)를 포함하는 이차 근사식을 유도한다.
• 각 지수족에 관련된 직교 다항식(Hermite, Laguerre, Charlier)을 사용하여 모멘트 제약 조건을 표현하고 발산 하한을 도출한다.
• 분산 함수 V(μ)를 지수족의 유일한 특성으로 사용하며, V(μ)가 증가하는 경우 μ ≤ ν 이면 D(Q^μ || Q^ν) ≥ (μ−ν)²/(2V(ν)) 라는 결과를 증명한다.
• 정규화된 직교 다항식의 기대값을 이용하여 발산을 표현함으로써 구체적인 하한을 도출한다. 예를 들어, E[~L_k^α(X)] ≤ 0 이면 D(X || Γ_α+1,1) ≥ (1/2)(E[~L_k^α(X)])² 이다.
• k=3, α=−1/2 인 경우에 대해 반례를 구성하여, E[~L_k^α(X)] = −3 이면 실제 발산이 3.3195 < 4.5 이므로 일반 부등식 D(X || Γ_α+1,1) ≥ (1/2)(E[~L_k^α(X)])² 가 항상 성립하지 않음을 보여준다.

실험 결과

연구 질문

• RQ1 임의의 분포에서 표준 지수족(예: 정규, 포isson, 감마)으로의 정보 발산에 대해 날카운 하한은 무엇인가?
• RQ2 직교 다항식에서 유도된 모멘트 제약 조건을 사용하여 목표 분포로부터의 정보 발산을 균일하게 유 bounds할 수 있는가?
• RQ3 헤르미트 또는 라거르 다항식에서 유도된 고차 모멘트를 기반으로 한 보편 하한이 존재하는가?
• RQ4 주어진 직교 다항식 φ에 대해 D(X || P) ≥ (1/2)(E[φ(X)])² 부등식이 성립하는 조건은 무엇이며, 언제 실패하는가?
• RQ5 정보이론적 극한정리에서 수렴 속도가 이러한 하한으로 특성화될 수 있는가?

주요 결과

• 평균 μ ≤ 0 이고 분산이 1인 랜덤 변수 X에 대해 D(X || Φ) ≥ (1/2)μ² 이며, 여기서 Φ는 표준 정규분포이다.
• 분산이 ≤ 1이고 평균이 1인 임의의 X에 대해 D(X || Φ) ≥ (1/2)(Var(X)−1)² 이며, 이는 분산이 1에서 벗어난 정도에 대한 이차 하한을 제공한다.
• 비율이 1인 지수분포에 대해 E[X] = 1 이고 Var(X) ≤ 1 이면 D(X || Exp(1)) ≥ (1/8)(Var(X)−1)² 이다.
• 형태가 1/2이고 척도가 2인 카이제곱분포(χ²₁)에 대해 E[X] = 1 이고 Var(X) ≤ 2 이면 D(X || χ²₁) ≥ (1/48)(Var(X)−2)² 이다.
• 단위 분산이고 초과첨도 κ ≤ 0(플라티쿠르틱)인 임의의 X에 대해 D(X || Φ) ≥ (1/48)κ² 이며, 이는 이전 연구에서 알려진 결과와 일치한다.
• α=−1/2, k=3 인 감마분포 Γ(1/2,1)에 대해 반례를 구성하여, E[~L₃^α(X)] = −3 이면 실제 발산이 3.3195 < 4.5 이므로 D(X || Γ_α+1,1) ≥ (1/2)(E[~L₃^α(X)])² 가 성립하지 않음을 보여준다.