[論文レビュー] Bounded divergence measures based on Bhattacharyya coefficient

Ahmed Roman, Shivakumar Jolad+1 more|arXiv (Cornell University)|Jan 2, 2012

Advanced Statistical Methods and Models参考文献 26被引用数 2

ひとこと要約

本稿では、絶対連続性の要件を必要とせず、対称的で有界かつ正定値の分散である、有界バタチャリャ距離（BBD）を導入する。BBDは、バタチャリャ係数に基づくものであり、Csiszár f-分散のクラスに属することが示され、ヘリンジャー分散やジェンセン・シャノン分散と関連づけられる。また、ベイズ分類誤差確率の上限を導き、その曲率はフィッシャー情報と対応し、パrametric族におけるRao測地線距離の計算を可能にする。

ABSTRACT

We introduce a new entropy based measure, the bounded Bhattacharyya distance (BBD), for quantifying the dissimilarity between probability distributions. BBD is based on the Bhattacharyya coefficient (fidelity) , and is symmetric, positive semi-definite, and bounded. Unlike the Kullback-Leibler divergence, BBD does not require probability density functions to be absolutely continuous with respect to each other. We show that BBD belongs to the class of Csiszar f-divergence and derive certain relationships between BBD and well known measures such as Bhattacharyya, Hellinger and Jensen-Shannon divergence. Bounds on the Bayesian error probability are established with BBD measure. We show that the curvature of BBD in the parameter space of families of distributions is proportional to the Fisher information. For distributions with vector valued parameters, the curvature matrix can be used to obtain the Rao geodesic distance between them. We also discuss a potential application of probability distance measures in model selection.

研究の動機と目的

• 分布間の絶対連続性を要件としない、対称的で有界かつ正定値の確率分散測度を新たに開発すること。
• 有界バタチャリャ距離（BBD）と、バタチャリャ、ヘリンジャー、ジェンセン・シャノン分散といった既知の分散との理論的関係を確立すること。
• BBD測度を用いてベイズ分類誤差確率の上限を導出すること。
• パrametric族におけるパrameter空間におけるBBDの曲率とフィッシャー情報行列の関係を明らかにし、測地線距離の計算を可能にすること。
• 情報理論的原則に基づき、BBDのモデル選択における有効性を検討すること。

提案手法

• バタチャリャ係数（忠実度）の変換として、有界バタチャリャ距離（BBD）を提案し、対称性と有界性を保証する。
• BBDがCsiszár f-分散のクラスに属することを示し、既存のf-分散の性質の応用を可能にする。
• BBDと他の分散（ヘリンジャー、ジェンセン・シャノン分散など）との間の解析的関係を導出する。
• BBD測度を用いて、ベイズ誤差確率の上界と下界を確立する。
• 指数型分布族のパrameter空間におけるBBDの曲率を分析し、フィッシャー情報行列に比例することを示す。
• BBDの曲率行列を用いて、ベクトルパrameterを持つ族における分布間のRao測地線距離を計算する。

実験結果

リサーチクエスチョン

• RQ1 絶対連続性を要件としない条件下で、バタチャリャ係数から、有界で対称的かつ半正定値の分散をどのように構築できるか。
• RQ2 BBDと、バタチャリャ、ヘリンジャー、ジェンセン・シャノン分散といった代表的なf-分散との関係は何か。
• RQ3 BBDを用いてベイズ分類誤差確率の上限を導出可能か。また、その上限はどの程度きついのか。
• RQ4 パrameter空間におけるBBDの曲率は、フィッシャー情報行列とどのように関係するか。
• RQ5 BBDの曲率行列を用いて、パrametric族における分布間の測地線距離を定義可能か。

主な発見

• 有界バタチャリャ距離（BBD）は、対称的で正定値であり、0から1の間で有界であるため、確率分布の比較に適している。
• BBDが正式にCsiszár f-分散クラスに属することを示し、一般f-分散の結果の適用が可能になる。
• BBDは、特に分布の重複度が低い場合に、古典的分散よりもよりきついベイズ誤差確率の上限を与える。
• パrameter空間におけるBBDの曲率は、フィッシャー情報行列に比例しており、情報幾何と関連づけられる。
• ベクトルパrameterを持つ族では、BBDの曲率行列が分布間のRao測地線距離を導き、内在的距離の計算が可能になる。
• BBDはモデル選択においても有効であり、その幾何的および確率的性質が統計的モデルの効率的比較を支援する。