[論文レビュー] A family of statistical symmetric divergences based on Jensen's inequality

Frank Nielsen|arXiv (Cornell University)|Sep 21, 2010

Statistical Mechanics and Entropy参考文献 16被引用数 61

ひとこと要約

本稿では、ジェンセンの不等式に基づき、ジェンセンの不等式を用いて、対称的統計的発散度のパrametric族—対称化された α-歪みジェンセン発散度—を導入し、ジェフリーズ発散度とジェンセン・シャノン発散度を統合する。この手法により、パrameter α を用いてこれらの発散度の滑らかな補間が可能となり、Caltech 101 の画像において α = 1/4 のとき分類性能が向上した、一意な重心の計算のための汎用的アルゴリズムが提示されている。

ABSTRACT

We introduce a novel parametric family of symmetric information-theoretic distances based on Jensen's inequality for a convex functional generator. In particular, this family unifies the celebrated Jeffreys divergence with the Jensen-Shannon divergence when the Shannon entropy generator is chosen. We then design a generic algorithm to compute the unique centroid defined as the minimum average divergence. This yields a smooth family of centroids linking the Jeffreys to the Jensen-Shannon centroid. Finally, we report on our experimental results.

研究の動機と目的

• ジェンセンの不等式を用いて、ジェフリーズ発散度とジェンセン・シャノン発散度を連続的な対称発散度の族に統合すること。
• この族における平均発散度を最小化する一意な重心を計算する汎用的アルゴリズムの開発。
• 情報検索およびクラスタリングの応用において、最適な α パrameter のデータ駆動的選択を可能にすること。
• 指数分布族の分布に対して、重心計算が自然パラメータ上の対称化された α-ジェンセン発散度に簡略化されることを示し、閉形式解を得ること。
• 二値画像分類タスクにおける α-パrameter化された発散度の性能を実験的に検証すること。

提案手法

• ジェンセンの不等式を凸生成関数に適用することで導出された、対称化された α-歪みジェンセン発散度というパrametric族の発散度を提案する。
• 発散度を、2つの歪んだ K 発散度の平均として定義する：$\mathrm{JS}_\alpha(p,q) = \frac{1}{2}(K_\alpha(p:q) + K_\alpha(q:p))$、ここで $K_\alpha(p:q) = \int p(x)\log\frac{p(x)}{(1-\alpha)p(x) + \alpha q(x)}dx$。
• 凸最適化と凸-凹プロシージャーを活用し、集合内のすべての分布への平均発散度を最小化する重心を計算する反復的固定点アルゴリズムを導入する。
• 指数分布族の分布に対して、密度上の対称化された α-バタチャリャ発散度が、自然パラメータ上の対称化された α-ジェンセン発散度に簡略化されることを示し、閉形式での重心計算を可能にする。
• Caltech 101 データセットのヒストグラム特徴量を用い、α-パrameter化された発散度に基づく最近傍法ルールを適用し、α 値ごとの分類性能を評価する。
• 分類精度を最適化するように α をチューニングし、性能が α に依存し、データ幾何構造に敏感であることを示す。

実験結果

リサーチクエスチョン

• RQ1 ジェフリーズ発散度とジェンセン・シャノン発散度を統合する連続的な対称発散度族を構築することは可能か？
• RQ2 この新しい発散度族において、確率分布の集合に対して、重心を効率的かつ一意に計算する方法は何か？
• RQ3 対称化された α-歪みジェンセン発散度における α の選択が、分類などの実用的応用における性能に顕著な影響を与えるか？
• RQ4 この発散度フレームワークを用いて、同じ指数分布族に属する分布に対して、閉形式での重心計算が達成可能か？
• RQ5 実世界のデータ、例えば画像ヒストグラムにおいて、分類誤差を最小化する最適な α 値が存在するか？

主な発見

• 提案された対称化された α-歪みジェンセン発散度族は、ジェフリーズ発散度（α = 1）とジェンセン・シャノン発散度（α = 1/2）の間を滑らかに補間し、テストされた分類タスクで α = 1/4 のとき最高の性能を示した。
• 同じ指数分布族に属する分布に対して、対称化された α-バタチャリャ発散度における重心は、自然パラメータ上の対称化された α-ジェンセン発散度における重心に対応し、閉形式解が得られる。
• 重心は一意であり、固定点反復アルゴリズムにより計算可能で、アリ＝シルヴィー＝ツィスザークラスの凸発散度に対して収束を保証する。
• Caltech 101 における実験結果から、分類精度は α に依存し、α = 1/4 のとき約 88% の正解率にピークに達した。
• α = 1/4 の設定では、ジェフリーズ発散度とジェンセン・シャノン発散度の中間的な発散度が得られ、データ幾何構造とより整合性があること、より高いロバストネスを示唆している。
• 対称化された α-歪みジェンセン発散度の平方根は距離関数であり、三角不等式を満たすため、メトリックベースの学習やクラスタリングへの応用が可能である。