[論文レビュー] The Hellinger Bounds on the Kullback-Leibler Divergence and the Bernstein Norm

Tetsuya Kaji|arXiv (Cornell University)|Jan 25, 2026

Statistical Methods and Inference被引用数 0

ひとこと要約

要約の直訳：この論文は、ヘリンガー距離がクラーソ–レーベ分散（KL）・KLの分散・バースタインNormを上回る条件を必要十分条件として特徴づけ、非有界な尤度比を含めて適用し、サイブMLEにおける正則性を緩和する。

ABSTRACT

The Kullback-Leibler divergence, the Kullback-Leibler variation, and the Bernstein "norm" are used to quantify discrepancies among probability distributions in likelihood models such as nonparametric maximum likelihood and nonparametric Bayes. They are closely related to the Hellinger distance, which is often easier to work with. Consequently, it is of interest to characterize conditions under which the Hellinger distance serves as an upper bound for these measures. This article characterizes a necessary and sufficient condition for each of the discrepancy measures to be bounded by the Hellinger distance. It accommodates unbounded likelihood ratios and generalizes all previously known results. We then apply it to relax the regularity condition for the sieve maximum likelihood estimator.

研究の動機と目的

• 分布間の乖離度をヘリンガー距離で下向きに抑える必要条件と十分条件を導出する動機づけ。
• ヘリンガー距離がKL発散、KLの分散、 Bernsteinノルムを上限するための必要十分条件を導出する。
• 既存文献の条件と新しい条件を比較検討する。
• 正則性を緩和したサイブMLEの収束速度を導出して応用を示す。

提案手法

• ヘリンガー距離、KL発散、KLの分散、 Bernsteinノルムを定義し関連付ける。
• p0/pのモーメント型境界を用いてヘリンガー距離によってBNを有界にする必要十分条件（NC）を確立する。
• BN境界とKL境界および高次のKL変動との等価表現を示す。
• NCと他の条件（UB、WS、FM、CM）を比較し、それらの含意を示す。
• 緩和された正則性の下でサーブ最大似然推定量の収束率結果を得るために界を適用する。

実験結果

リサーチクエスチョン

• RQ1 対数尤度比の Bernstein ノルムがヘリンガー距離によって有界となる条件は何か。
• RQ2 KL発散とKL変動がヘリンガー距離によって有界となる必要十分条件は何か。
• RQ3 これらの新しい条件は文献における既存の有界性条件またはモーメント条件とどのように関連するか。
• RQ4 シーブ最大尤度推定の正則性要件を緩和するために結果を用いることができるか。

主な発見

• 対数尤度比の分数 Bernstein ノルムがヘリンガー距離によって有界であるための必要十分条件は局所モーメント条件（NC）である。
• KL発散および高次KL変動は対応するL1型条件（L1およびLk）によりヘリンガー距離によって有界となる。
• BN/L1/Lkの境界はKLおよびKL変動の後方境界を含意し、h(p0,p)に対して鋭い依存性を持つが定数には依存しない。
• NC条件は他の既知条件を含意し、これらの関係は既存の文献の結果へ対応づけられている。
• 緩和された正則性の下で非パラメトリックなサーブMLEの収束率解析を可能にする。