[論文レビュー] Generalised Pinsker Inequalities

Mark D. Reid, Robert C. Williamson|ArXiv.org|Jun 6, 2009

Statistical Mechanics and Entropy参考文献 24被引用数 21

ひとこと要約

本稿は、f-発散と一般化された変分発散の間のタイトで明示的な下界を、f-発散をベイズリスクに結びつける新しい積分表現を用いて導出することにより、古典的ピンスカーニューロの一般化を行う。主な貢献は、二重に一般化された問題に対する完全な解決——f-発散を複数の一般化された変分発散値を用いて束縛する——であり、KL発散についての変分発散を用いた初めての明示的かつタイトな境界を導出し、ヴァジャダが40年前に提起した問題を解決する。

ABSTRACT

We generalise the classical Pinsker inequality which relates variational divergence to Kullback-Liebler divergence in two ways: we consider arbitrary f-divergences in place of KL divergence, and we assume knowledge of a sequence of values of generalised variational divergences. We then develop a best possible inequality for this doubly generalised situation. Specialising our result to the classical case provides a new and tight explicit bound relating KL to variational divergence (solving a problem posed by Vajda some 40 years ago). The solution relies on exploiting a connection between divergences and the Bayes risk of a learning problem via an integral representation.

研究の動機と目的

• ヴァジャダが1970年代に提起した、変分発散を用いたKullback-Leibler（KL）発散の明示的かつタイトな下界を求める長年の未解決問題を解消すること。
• 古典的ピンスカーニューロ不等式を二通りに一般化すること：KL発散を任意のf-発散に置き換え、複数の一般化された変分発散値を制約として用いること。
• 一般化された変分発散の部分的知識に基づくf-発散に対する完全で最良の不等式フレームワークを構築すること。
• DeGrootの統計的情報とベイズリスクを介して、f-発散と統計的意思決定理論の間の関係を確立すること。

提案手法

• 事前と事後ベイズリスクの差としてf-発散の積分表現を用い、発散と統計的意思決定理論を結びつける。
• 重みπi ∈ (0,1) の列を用いて定義される一般化された変分発散を導入し、標準的な変分発散を拡張する。
• 0-1損失とベイズリスクに基づく幾何的議論を用いて、一般化された発散制約下でのタイトな境界を導出する。
• 既知の一般化された変分発散値を制約として、尤度比に関する変分的最適化により主結果を導出する。
• 一般結果を標準的発散（例：KL、χ²、J-発散）に特化して、明示的かつタイトな境界を導出する。
• f-発散とベイズリスクの関係を用いて、問題を1次元最適化に還元し、明示的計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 変分発散の値が与えられているとき、標準的な変分発散を用いたKullback-Leibler発散の最もタイトな下界は何か？
• RQ2 複数の一般化された変分発散値の部分的知識を組み込むことで、古典的ピンスカーニューロ不等式を任意のf-発散に一般化する方法は何か？
• RQ3 f-発散と一般化された変分発散の間の最良の境界を導くための統一的フレームワークを構築できるか？
• RQ4 ベイズリスクと統計的意思決定理論は、タイトな発散不等式を特徴付けるために果たす役割は何か？
• RQ5 得られた境界は、フェドトフらやジラルドーニのもののような既存の暗黙的または漸近的境界と比べてどう異なるか？

主な発見

• 本稿は、ヴァジャダが40年前に提起した問題を解決し、変分発散を用いたKL発散について、初めて明示的かつタイトな下界を提供する。
• KL発散に関して、β ∈ [V−2, 2−V] の1次元最小化により表される閉形式の式が得られ、古典的および先行の境界よりもタイトである。
• 一般化された変分発散（Vπi）により、より情報量の多い制約集合が可能となり、標準的なV(P,Q)のみを用いる場合よりもタイトな境界が得られる。
• h²、J、Ψ、I、T、χ²、KLの複数の標準的f-発散について、明示的かつタイトな境界が得られ、すべてがタイトであることが証明されている。
• χ²発散の境界は区分的である：V < 1 のときV²、V ≥ 1 のときV/(2−V) であり、古典的なV²の境界よりもタイトである。
• フェドトフらやジラルドーニの先行研究を一般化し、パrametricまたは暗黙的解ではなく、明示的かつ計算可能な形で解を提供する。