[論文レビュー] On the Upper Bound of the Kullback-Leibler Divergence and Cross Entropy

Min Chen, Mateu Sbert|arXiv (Cornell University)|Nov 19, 2019

Data Visualization and Analytics参考文献 3被引用数 6

ひとこと要約

本稿は、有限のアルファベットを符号化する際の交差エントロピーおよびカルバック・ライバラー（KL）ダイバージェンスに対して、||Z||−1の有限上界を確立し、情報理論的コスト・ベネフィット分析におけるKLダイバージェンスの非有界性を解消する。新たに提案された有界ダイバージェンス測度を、JSダイバージェンスおよび他の有界代替測度と比較し、実用的応用において直感的で解釈可能かつスケーラブルなKLダイバージェンスの代替手段を提供することを示している。

ABSTRACT

This archiving article consists of several short reports on the discussions between the two authors over the past two years at Oxford and Madrid, and their work carried out during that period on the upper bound of the Kullback-Leibler divergence and cross entropy. The work was motivated by the cost-benefit ratio proposed by Chen and Golan [1], and the less desirable property that the Kullback-Leibler (KL) divergence used in the measure is unbounded. The work subsequently (i) confirmed that the KL-divergence used in the cost-benefit ratio should exhibit a bounded property, (ii) proposed a new divergence measure, and (iii) compared this new divergence measure with a few other bounded measures.

研究の動機と目的

• 情報理論的コスト・ベネフィット分析におけるKLダイバージェンスの非有界性に起因する、値が−∞に近づく際の解釈可能性の欠如を是正すること。
• エントロピー符号化の意味的解釈とアルファベットサイズに基づき、交差エントロピーおよびKLダイバージェンスに有限上界を確立すること。
• 有界性、解釈可能性、可換性の柔軟性といった望ましい性質を保持する新たな有界ダイバージェンス測度を提案すること。
• JSダイバージェンスなどの既存の有界測度と比較し、対称性、曲率、意味的直感性の観点から、新しい測度の性能を評価すること。

提案手法

• 最小確率の記号が最も頻繁に使用される最悪ケースにおけるエントロピー符号化の非効率性を分析することで、交差エントロピーに||Z||−1の上界を導出する。
• 2進プレフィックス符号構成（例：ハフマンに類似した符号化）を用い、||Z||=nのアルファベットにおいて、いかなる記号もn−1ビットを超えて必要としないことを示し、上界を確立する。
• pᵢ log(|pᵢ−qᵢ|+1)の形に基づく新たなダイバージェンス測度を提案する。これは有界かつ解釈可能であり、可換性および一般化スケーリングのための変種を備える。
• |pᵢ−qᵢ|ᵏ+1を用いた一般化バージョンを導入し、k=1およびk=2で曲率と感度を制御する。
• 対称性、単調性、意味的直感性を評価するため、1文字あたりのダイバージェンスプロットを用いて、新しいダイバージェンスとJSダイバージェンス、KLダイバージェンスを比較する。
• すべての有界測度をℋ_max(ℤ)でスケーリングし、コスト・ベネフィットフレームワーク内での一貫性のある解釈を確保するため、[0, ℋ_max(ℤ)]の範囲に制限する。

実験結果

リサーチクエスチョン

• RQ1 エントロピー符号化の原則に従って有限アルファベットを符号化する際、交差エントロピーおよびKLダイバージェンスに有限上界が存在するか？
• RQ2 符号化における非効率の意味的意味を保持しつつ、非有界値を回避する有界ダイバージェンス測度を構築可能か？
• RQ3 JSダイバージェンス、新しいダイバージェンス、およびその変種の中で、解釈可能性、対称性、KLダイバージェンスに類似した曲率の観点から、最もバランスの取れた測度はどれか？
• RQ4 新しいダイバージェンス測度は、確率差が変化する際にどのように振る舞い、直感的な非対称性または対称性のパターンを示すか？

主な発見

• 任意の有限アルファベットℤに対して、交差エントロピーℋ(P,Q)は、最適プレフィックス符号化における最大コードワード長から、||ℤ||−1で上界に抑えられる。
• 真のPMF Pが一様分布で、推定PMF Qが極端に偏った場合に、KLダイバージェンスℋ(P||Q)はℋ_max(ℤ)で上界に抑えられ、有限上界の存在が確認される。
• pᵢ log(|pᵢ−qᵢ|+1)として定義される新規ダイバージェンス測度は有界であり、直感的な振る舞いを示す：|pᵢ−qᵢ|が増加するにつれてダイバージェンスも増加し、一般化された可換形式では対称性を示す。
• 非可換バージョン（式5）は、KLダイバージェンスの部分的な非対称性を保持しており、方向性が重要な応用に適している。
• k=2の可換バージョン（式6）は、基本バージョンよりもKLダイバージェンスに近い曲率を示すが、有界性およびダイバージェンスと|pᵢ−qᵢ|の正の相関関係を維持している。
• JSダイバージェンスとk=2の新しいダイバージェンスは、基本バージョンの新しいダイバージェンスよりもKLダイバージェンスに近い曲率を示すが、近似線形形状のおかげで、新しいダイバージェンスは解釈性および心算での推定のしやすさに優れている。