[論文レビュー] A Tight Lower Bound for the Hellinger Distance with Given Means and Variances

Tomohiro Nishiyama|arXiv (Cornell University)|Oct 26, 2020

Statistical Mechanics and Entropy参考文献 12被引用数 9

ひとこと要約

本稿は、与えられた平均と分散のもとで、2つの確率分布間の二乗ヘルンバーゲル距離のタイトな下界を確立し、それが2点サポート上のバイナリ発散度によって達成されることを証明している。この結果は、カイ二乗距離と相対エントロピー発散度に既知である性質をヘルンバーゲル距離へと拡張したものであり、f-発散度がこの下界性質を満たす条件を特定する未解決問題を提示している。

ABSTRACT

The binary divergences that are divergences between probability measures defined on the same 2-point set have an interesting property. For the chi-squared divergence and the relative entropy, it is known that their binary divergence attain lower bounds with given means and variances, respectively. In this note, we show that the binary divergence of the squared Hellinger distance has the same property and propose an open problem that what conditions are needed for f-divergence to satisfy this property.

研究の動機と目的

• 与えられた平均と分散のもとで、二乗ヘルンバーゲル距離のタイトな下界を確立すること。
• この下界が、カイ二乗距離と相対エントロピーの既知の結果と同様に、2点サポート上のバイナリ発散度によって達成されることを示すこと。
• モーメント制約のもとでf-発散度がバイナリ分布によって最小値を達成するための条件を特定すること。
• f-発散度が「下界条件」を満たすものとして特定する未解決問題を提示すること。

提案手法

• f(t) = ½(√t − 1)² を用いて、二乗ヘルンバーゲル距離をf-発散度として導出する。
• 固定された一次モーメントと二次モーメントを持つ確率測度の変分最適化を用いて、下界を導出する。
• 指定された確率 r と s を持つ {u₁, u₂} 上の2点分布 (P, Q) を構築し、下界を達成する。
• 差分 a = m_P − m_Q と分散差分 b を用いて、v の導出式を用いて下界を a と b の関数として表現する。
• 極限の議論を適用して、平均が等しいときには下界が0に近づくことを示し、ヘルンバーゲル距離が消失する分布列を用いる。
• バイナリヘルンバーゲル下界を以前に知られていた下界と比較し、関数 g(x) = (1+x)/(1+√x)² を用いて乗法的要因の関係を確立する。

実験結果

リサーチクエスチョン

• RQ1 二乗ヘルンバーゲル距離は、カイ二乗距離や相対エントロピー発散度と同様に、固定された平均と分散のもとでタイトな下界を達成するか？
• RQ2 モーメント制約のもとで、2つの分布間の最小ヘルンバーゲル距離は、2点集合上のバイナリ分布によって達成可能か？
• RQ3 f-発散度における凸関数 f にどのような条件を課すと、固定された平均と分散のもとでバイナリ発散度が最小値を達成するか？
• RQ4 α-発散度はどの α 値に対して「下界条件」を満たすか？
• RQ5 ヘルンバーゲル距離の下界は、平均と分散の差分に関して、以前に知られていた下界とどのように関係するか？

主な発見

• 二乗ヘルンバーゲル距離には、a = m_P − m_Q として、h²(r,s) = 1 − √(1 − a²/(a² + (σ_P + σ_Q)²)) で与えられるタイトな下界が存在する。
• この下界は、a, b = σ_Q² − σ_P², および v を用いて定義される r と s を持つ2点集合上のバイナリ分布によって達成される。
• m_P = m_Q のとき、ヘルンバーゲル距離の下界は0であり、距離が消失する分布列によって近づかれる。
• バイナリヘルンバーゲル下界は、以前に知られていた下界 l(m_P, σ_P, m_Q, σ_Q) に対して、定数乗数の上下限をもつ。その乗数は r と s に依存する。
• 下界 h²(r,s) は、β_min × l(m_P, σ_P, m_Q, σ_Q) 以上であることが示され、β_min ≥ 1 であり、その比は2点サポートの相対的確率に依存する。
• 本稿は、f-発散度が「下界条件」を満たす一般の条件を特定する未解決問題を提示している。