[논문 리뷰] The Hellinger Bounds on the Kullback-Leibler Divergence and the Bernstein Norm

Tetsuya Kaji|arXiv (Cornell University)|2026. 01. 25.

Statistical Methods and Inference인용 수 0

한 줄 요약

본 논문은 Hellinger distance가 Kullback–Leibler divergence, KL variation, 및 Bernstein norm을 상한하는 필요충분조건을 제시하고, 무한대의 가능도 비율을 포함한 경우에도 이를 적용하여 sieve MLE의 정규성 조건의 완화를 다룬다.

ABSTRACT

The Kullback-Leibler divergence, the Kullback-Leibler variation, and the Bernstein "norm" are used to quantify discrepancies among probability distributions in likelihood models such as nonparametric maximum likelihood and nonparametric Bayes. They are closely related to the Hellinger distance, which is often easier to work with. Consequently, it is of interest to characterize conditions under which the Hellinger distance serves as an upper bound for these measures. This article characterizes a necessary and sufficient condition for each of the discrepancy measures to be bounded by the Hellinger distance. It accommodates unbounded likelihood ratios and generalizes all previously known results. We then apply it to relax the regularity condition for the sieve maximum likelihood estimator.

연구 동기 및 목표

• 분포 간 차이 척도를 Hellinger distance로 한정하는 필요성의 동기를 제시한다.
• Hellinger distance가 KL divergence, KL variation, 및 Bernstein norm을 상한하는 필요충분조건을 도출한다.
• 문헌에 있는 기존 조건과 새로운 조건을 비교한다.
• 완화된 정규성으로 비모수적 sieve MLE의 수렴속도 도출과 같은 응용을 시연한다.

제안 방법

• Hellinger distance, KL divergence, KL variation, 및 Bernstein norm을 정의하고 관계를 설명한다.
• p0/p에 대한 모멘트형(bound)으로 Bernstein norm가 Hellinger distance의 의해 유계임을 보이는 필요충분조건(NC)을 확립한다.
• BN bound가 KL bound 및 더 높은 차수의 변동과 연결되는 동등한 표현들을 증명한다.
• NC를 UB, WS, FM, CM 등 다른 조건과 비교하고 이들 간의 함의를 보인다.
• 완화된 정규성 하에서 sieve 최대우도추정기의 수렴속도 결과를 얻기 위해 경계들을 적용한다.

실험 결과

연구 질문

• RQ1 로그가능도 비율의 Bernstein norm이 Hellinger distance에 의해 유계가 되려면 어떤 조건이 필요한가?
• RQ2 Kullback–Leibler divergence 및 KL variation이 Hellinger distance에 의해 유계가 되려면 필요한 및 충분한 조건은 무엇인가?
• RQ3 이 새로운 조건들이 문헌에서의 기존의 유계성 또는 모멘트 조건과 어떻게 관련되는가?
• RQ4 결과를 사용하여 sieve 최대우도추정의 정규성 조건을 완화할 수 있는가?

주요 결과

• 로그가능도 비율의 부분적 Bernstein norm이 Hellinger distance에 의해 유계가 되기 위한 필요충분조건은 지역적 모멘트 조건(NC)이다.
• Kullback–Leibler divergence 및 더 높은 차수의 KL variation은 해당 L1-유형 조건(L1 및 Lk)하에서 Hellinger distance에 의해 유계다.
• BN/L1/Lk 경계는 KL 및 KL variation에 대한 후방(bound)과 관련되며 h(p0,p)에 대한 날카로운 의존성을 보이나 상수에는 의존하지 않는다.
• NC 조건은 다른 알려진 조건을 암시하며, 이러한 관계는 문헌의 기존 결과에 매핑된다.
• 이 결과는 완화된 정규성 하에서 sieve MLE의 수렴속도 분석을 가능하게 하여 가능도 비율의 더 빠른 발산을 허용한다.