[論文レビュー] A closed-form formula for the Kullback-Leibler divergence between Cauchy distributions

Frédéric Chyzak, Frank Nielsen|arXiv (Cornell University)|May 27, 2019

Statistical Mechanics and Entropy参考文献 12被引用数 12

ひとこと要約

この論文は、2つのコーシー分布間のカルバック・ライバラー（KL）ダイバージェンスの閉形式式を導出しており、それが常に有限でありかつ対称的であることを示している。マセイ・パッケージを用いた記号計算により、6つのパラメータを含む定積分を評価し、主要な結果として KL(p₁‖p₂) = log[(s₁+s₂)² + (l₁−l₂)²]/(4s₁s₂) を得た。ここで、l と s はそれぞれ位置およびスケールパラメータである。

ABSTRACT

We report a closed-form expression for the Kullback-Leibler divergence between Cauchy distributions which involves the calculation of a novel definite integral. The formula shows that the Kullback-Leibler divergence between Cauchy densities is always finite and symmetric.

研究の動機と目的

• 2つのコーシー確率密度関数間のカルバック・ライバラー（KL）ダイバージェンスの閉形式表現を導出すること。
• コーシー分布の重い尾部にもかかわらず、そのKLダイバージェンスが常に有限であることを確立すること。
• 一般に成り立たない位置スケール族とは異なり、コーシー族におけるKLダイバージェンスの対称性を示すこと。
• コーシー族における交差エントロピーおよび微分エントロピーを計算的に取り扱える形で表す公式を提供すること。

提案手法

• 著者たちは、KLダイバージェンスを交差エントロピーと微分エントロピーとの差として表現し、問題を2つのコーシー密度間の交差エントロピーの計算に還元する。
• 交差エントロピー項を捉えるために、A(a,b,c;d,e,f) = ∫[−∞,∞] log(dx²+ex+f)/(ax²+bx+c) dx というパラメトリックな定積分を定義する。
• マセイ・パッケージを用いて、パラメータの対数関数および平方根関数を含む閉形式解をA(a,b,c;d,e,f)に対して計算する。
• 創造的テレスコープと記号積分を用いて解を導出し、定数項を補うために微分および極限解析による検証を実施する。
• 変数変換により一般ケースを標準形に還元し、最終的なKLダイバージェンスの公式を導出する。
• 既知の特殊ケースの回復により結果を検証する：スケール族（l₁=l₂）および位置族（s₁=s₂）であり、一貫性が確認される。

実験結果

リサーチクエスチョン

• RQ1 2つのコーシー分布間のカルバック・ライバラー（KL）ダイバージェンスに対して、閉形式式は存在するか？
• RQ2 コーシー分布の重い尾部にもかかわらず、コーシー密度関数間のKLダイバージェンスは有限のままであるか？
• RQ3 一般に位置スケール族とは異なり、コーシー分布のパラメータにおいてKLダイバージェンスは対称的か？
• RQ4 同じ枠組みを用いて、コーシー分布の交差エントロピーおよび微分エントロピーを閉形式で表現できるか？

主な発見

• パラメータ (l₁,s₁) および (l₂,s₂) を持つ2つのコーシー密度関数間のKLダイバージェンスは、閉形式式として KL(p₁‖p₂) = log[(s₁+s₂)² + (l₁−l₂)²]/(4s₁s₂) で与えられる。
• KLダイバージェンスは、コーシー分布が重い尾部を持つにもかかわらず、常に有限である。これは相対エントロピーの発散に関する懸念を解消する。
• KLダイバージェンスは対称的である：KL(p₁‖p₂) = KL(p₂‖p₁)。これは、正規分布のような一般的な位置スケール族では成り立たない性質である。
• スケール族（l₁=l₂=l）では、KLダイバージェンスは 2 log[(s₁+s₂)/(2√(s₁s₂))] に簡略化され、既知の結果が回復される。
• 位置族（s₁=s₂=s）では、KLダイバージェンスは log[1 + (l₁−l₂)²/(4s²)] に簡略化され、既存の公式と一致する。
• 位置 l とスケール s を持つコーシー分布の微分エントロピーは h(p) = log(4πs) で与えられ、先行研究と整合的である。