[論文レビュー] On the Centroids of Symmetrized Bregman Divergences

Frank Nielsen, Richard Nock|ArXiv.org|Nov 21, 2007

Statistical Mechanics and Entropy参考文献 24被引用数 15

ひとこと要約

本稿は、左および右側の重心間の測地線路を活用することで、中心ベースのクラスタリングにおける主要な構成要素である対称化Bregman重心の計算に向けた幾何的アルゴリズムを提示する。3種類の重心の唯一性を証明し、Legendre双対性と測地線ウォークに基づく、証明可能な高速で効率的な近似手法を提供しており、多次元正規分布のクラスタリングにおいて、従来の反復的ソルバーを著しく上回る性能を発揮する。

ABSTRACT

In this paper, we generalize the notions of centroids and barycenters to the broad class of information-theoretic distortion measures called Bregman divergences. Bregman divergences are versatile, and unify quadratic geometric distances with various statistical entropic measures. Because Bregman divergences are typically asymmetric, we consider both the left-sided and right-sided centroids and the symmetrized centroids, and prove that all three are unique. We give closed-form solutions for the sided centroids that are generalized means, and design a provably fast and efficient approximation algorithm for the symmetrized centroid based on its exact geometric characterization that requires solely to walk on the geodesic linking the two sided centroids. We report on our generic implementation for computing entropic centers of image clusters and entropic centers of multivariate normals, and compare our results with former ad-hoc methods.

研究の動機と目的

• 非対称Bregman散発の重心概念を一般化し、幾何的および情報理論的距離を統合する。
• 特に多次元設定（例：多次元正規分布）における、対称化Bregman重心を計算するための効率的で証明可能に収束するアルゴリズムの欠如に応える。
• 左および右側の重心に対して閉形式解を提供し、対称化重心に対して幾何的近似を提示する。
• 内容ベースの画像検索および統計的パターン認識における中心ベースのクラスタリングを、恣意的または反復的手法に代えて、原理的で幾何的なアプローチによってより高速かつ高精度に実現する。

提案手法

• 左側（$c_L^F$）、右側（$c_R^F$）、対称化（$c^F$）の3種類の重心を提案し、これらは中心への平均Bregman散発の最小化として定義される。
• Bregman生成関数の凸共役およびLegendre双対性を活用し、左および右側の重心の閉形式表現（一般化平均）を導出する。
• 双対Bregman幾何における左および右重心を結ぶ測地線に、対称化重心が位置することを特徴づけ、二分探索による幾何的近似を可能にする。
• 測地線上を歩行するアルゴリズムを設計し、コストの高い行列逆行列計算や固有値系の解法を回避することで、証明可能な高速かつ効率的な収束を実現する。
• Kullback-LeiblerおよびItakura-Saito散発を用いて、画像クラスターや多次元正規分布のエントロピー中心を計算する応用を実施する。
• 指数型分布族（例：多次元正規分布）の密度関数の標準的分解（自然パラメータおよび期待値パラメータに）を活用し、Legendre変換による効率的計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非対称Bregman散発において、一意的かつ効率的に計算可能な重心を定義できるか。これは情報幾何および統計的クラスタリングの中心的役割を果たす。
• RQ2 対称化Bregman重心はBregman散発そのものではなく、閉形式解を持たないため、効率的に計算するにはどうすればよいか。
• RQ3 左および右重心間の測地線ルートを用いて、対称化重心のための高速かつ収束保証付きのアルゴリズムを設計できるか。
• RQ4 多次元正規分布の重心計算において、本稿で提示された幾何的アルゴリズムは、Riccati方程式に基づく既存の反復的ソルバーと比較して、速度および正確性の面でどの程度優れているか。
• RQ5 本手法は、ガウス分布を超えた他の指数型分布族（例：画像ヒストグラムや多項分布）へどの程度一般化可能か。

主な発見

• Bregman散発下での点集合の左および右側の重心は、一意に定義され、一般化平均に対応し、Legendre双対性を用いて閉形式で導出可能である。
• 対称化Bregman重心は一意に定義され、双対Bregman幾何における左および右重心を結ぶ測地線上に位置する。
• 提示された測地線二分探索ウォークアルゴリズムは、対称化重心に対数時間で収束し、Riccati方程式に基づく反復的ソルバーと比較して著しく高速である。
• 多次元正規分布に対しては、行列逆行列計算や固有値系の計算を回避し、測地線上の単純な経路追跡手順に置き換える。
• 本手法は、画像クラスターや多次元正規混合分布のエントロピー中心を計算する上で、高い正確性と効率性を達成し、恣意的または数値的手法を凌駕する。
• 対称化重心が平均対称化散発の最小化者として幾何的に特徴づけられることにより、収束性および最適性に関する理論的保証が確立されている。