[論文レビュー] Notes on Kullback-Leibler Divergence and Likelihood

Jonathon Shlens|arXiv (Cornell University)|Apr 8, 2014

Neural Networks and Applications被引用数 69

ひとこと要約

この論文は、カルバック・ライブラー（KL）ダイバージェンスと尤度理論の直接的な関連を確立し、無限大の観測回数の極限において、KLダイバージェンスが平均多項分布尤度の負の対数として現れることが示されている。KLダイバージェンスを、真の分布 p における観測データをモデル分布 q がどの程度説明できるかを測る指標として捉えることで、直感的な洞察が得られる。

ABSTRACT

The Kullback-Leibler (KL) divergence is a fundamental equation of information theory that quantifies the proximity of two probability distributions. Although difficult to understand by examining the equation, an intuition and understanding of the KL divergence arises from its intimate relationship with likelihood theory. We discuss how KL divergence arises from likelihood theory in an attempt to provide some intuition and reserve a rigorous (but rather simple) derivation for the appendix. Finally, we comment on recent applications of KL divergence in the neural coding literature and highlight its natural application.

研究の動機と目的

• 形式的定義に依存するのではなく、尤度理論と結びつけることで、カルバック・ライブラー（KL）ダイバージェンスの直感的理解を提供すること。
• 無限標本の極限において、KLダイバージェンスが数学的に平均尤度の負の対数と等価であることを示すこと。
• 組合せ論とスターリングの近似に基づいた導出を通じて、統計的推論と情報理論におけるKLダイバージェンスの役割を明確にすること。
• 特に神経コードにおいて、ニューロン間の依存性や相関を定量化するのにも適していることから、現代の応用分野におけるKLダイバージェンスの関連性を強調すること。

提案手法

• 標本サイズ n に依存しないスケール不変なモデル適合度の指標として、平均多項分布尤度 $\bar{L} = L(c|q)^{1/n}$ を導出する。
• 多項分布尤度の対数を簡略化するために、スターリングの近似 $\log n! \approx n\log n - n$ を適用する。
• 正規化されたヒストグラム度数 $c_i/n$ を経験的分布 $p_i$ に置き換えることで、$\bar{L} = -\sum_i p_i \log p_i + \sum_i p_i \log q_i$ の式を得る。
• 得られた式が $-D_{\text{KL}}(p \| q)$ に一致することを特定し、$D_{\text{KL}}(p \| q) = \lim_{n\to\infty} -\frac{1}{n} \log L(c|q)$ を示す。
• 多項分布尤度の正規化定数がエントロピー項 $-\sum_i p_i \log p_i$ を生じることを示し、組合せ論と情報理論を結びつける。
• 導出された関係を用いて、KLダイバージェンスを、真の分布 p をモデル q で記述する際の「符号化ペナルティ」や「尤度不足」の指標として解釈する。

実験結果

リサーチクエスチョン

• RQ1 カルバック・ライブラー（KL）ダイバージェンスは、統計的モデルにおけるデータ観測の尤度とどのように関係しているか？
• RQ2 なぜKLダイバージェンスは非対称であり、これはモデル選択と情報損失にどのような意味を持つのか？
• RQ3 平均多項分布尤度の漸近的挙動は何か？ そしてそれはKLダイバージェンスとどのように関連するか？
• RQ4 情報理論と符号化効率の観点から、KLダイバージェンスはモデル適合度の指標としてどのように解釈できるか？
• RQ5 多項分布尤度の正規化定数は、エントロピーとKLダイバージェンスの出現に果たす役割は何か？

主な発見

• KLダイバージェンス $D_{\text{KL}}(p \| q)$ は、無限大の標本数の極限において、平均多項分布尤度の負の対数と数学的に等価である：$D_{\text{KL}}(p \| q) = \lim_{n\to\infty} -\frac{1}{n} \log L(c|q)$。
• 真の分布 $p$ とモデル分布 $q$ が同一の場合、平均尤度 $\bar{L}$ は 1 に近づき、KLダイバージェンスは 0 になる。
• モデル $q$ が誤っており、観測度数 $c_i/n$ が $q_i$ から逸脱する場合、平均尤度 $\bar{L}$ は 0 に近づき、KLダイバージェンスは無限大に発散する。
• 導出過程から、多項分布尤度の正規化定数がエントロピー項 $-\sum_i p_i \log p_i$ を生じることを明らかにし、組合せ論と情報理論を結びつける。
• KLダイバージェンスは、$q$ を用いて $p$ を近似する際の期待される情報損失を定量化しており、情報理論では「符号化ペナルティ」として解釈される。
• KLダイバージェンスは、確率変数間の統計的依存性を測る相互情報量 $I(X;Y) = D_{\text{KL}}(p(x,y) \| p(x)p(y))$ を自然に裏付ける。