[論文レビュー] Chernoff information of exponential families

Frank Nielsen|arXiv (Cornell University)|Feb 14, 2011

Statistical Methods and Inference参考文献 22被引用数 56

ひとこと要約

本稿では、情報幾何を活用して指数型分布族におけるChernoff情報量の閉形式解と効率的な測地線二等分アルゴリズムを提示する。最適Chernoff点が指数的測地線と右側Bregmanボロノイ二等分線の交点に一致することを示し、正規分布や多項分布などの分布に対してChernoff発散の正確または高精度の数値近似を可能にする。

ABSTRACT

Chernoff information upper bounds the probability of error of the optimal Bayesian decision rule for $2$-class classification problems. However, it turns out that in practice the Chernoff bound is hard to calculate or even approximate. In statistics, many usual distributions, such as Gaussians, Poissons or frequency histograms called multinomials, can be handled in the unified framework of exponential families. In this note, we prove that the Chernoff information for members of the same exponential family can be either derived analytically in closed form, or efficiently approximated using a simple geodesic bisection optimization technique based on an exact geometric characterization of the "Chernoff point" on the underlying statistical manifold.

研究の動機と目的

• 統計的分類や仮説検定におけるChernoff情報量の計算不能性に対処すること。
• 正規分布、ポisson分布、多項分布を含む指数型分布族全体にわたるChernoff情報量の統一的フレームワークを提供すること。
• Chernoff点の幾何的特徴付けを、指数的測地線とBregmanボロノイ二等分線の交点として導出すること。
• 高次元または正確でない状況における最適$α$係数の近似に適した数値的に安定で収束する測地線二等分アルゴリズムを開発すること。

提案手法

• Chernoff情報量を自然パラメータ上の最大$α$-Jensen発散として再定式化し、指数型分布族における解析的取り扱いを可能にする。
• 最適$α$係数は幾何的最適化問題として解く：Chernoff点は2つの分布間の指数的測地線と右側Bregmanボロノイ二等分線の交点に位置する。
• 測地線二等分アルゴリズムを提案し、自然パラメータ空間における$α$区間を反復的に精緻化することでChernoff点に収束させる。
• 自然パラメータと期待値パラメータの双対性を活用し、両座標系において二等分条件をBregman発散で表現する。
• Bregman発散の直交性を用いて収束性を保証し、Chernoff情報量の任意の精度の近似を可能にする。
• 1パラメータの指数型分布族に対しては、Chernoff発散の閉形式表現が得られる。

実験結果

リサーチクエスチョン

• RQ1 同じ指数型分布族に属する分布に対して、Chernoff情報量は閉形式で計算可能か？
• RQ2 統計多様体の観点から、最適$α$係数の幾何的構造は何か？
• RQ3 閉形式が存在しない場合、Chernoff点はどのように効率的に近似可能か？
• RQ4 情報幾何的原則に基づいて、Chernoff発散を計算する数値的に安定な最適化手法は存在するか？

主な発見

• 1パラメータの指数型分布族に対しては、自然パラメータの$α$-Jensen発散に基づくChernoff情報量が閉形式で解析的に得られる。
• 最適$α$係数は、統計多様体上での指数的測地線と右側Bregmanボロノイ二等分線の交点に一致する。
• 測地線二等分アルゴリズムは線形収束を示し、自然パラメータ空間における$α$区間の反復的精緻化により、Chernoff情報量の任意の精度の近似が可能である。
• Chernoff点は、2つの元の分布に対するBregman発散の等価性を満たす指数的測地線上の唯一の点として幾何的に特徴付けられる。
• 特に高次元設定において、直接的な数値最適化よりも顕著な計算上の利点を提供する。
• 本フレームワークは、正規分布、ポisson分布、多項分布といった一般的な分布を、一貫した幾何的・解析的アプローチで統一的に取り扱える。