[論文レビュー] On conformal divergences and their population minimizers

Richard Nock, Frank Nielsen+1 more|arXiv (Cornell University)|Nov 20, 2013

Statistical Mechanics and Entropy参考文献 18被引用数 5

ひとこと要約

本稿は、新しい$(u,v)$-幾何構造における、通常のBregman散発と全Bregman散発を拡張する一般化された散発のクラス、すなわち共形散発を導入する。本稿は、これらの散発の左および右の母集団最小化子を解析的・幾何的に特徴づけ、共形散発が左最小化子に対して包括的であることを証明するとともに、右最小化子に対しては全Bregman散発であることを示し、ロバストなクラスタリングアルゴリズムへの応用を示唆する。

ABSTRACT

Total Bregman divergences are a recent tweak of ordinary Bregman divergences originally motivated by applications that required invariance by rotations. They have displayed superior results compared to ordinary Bregman divergences on several clustering, computer vision, medical imaging and machine learning tasks. These preliminary results raise two important problems : First, report a complete characterization of the left and right population minimizers for this class of total Bregman divergences. Second, characterize a principled superset of total and ordinary Bregman divergences with good clustering properties, from which one could tailor the choice of a divergence to a particular application. In this paper, we provide and study one such superset with interesting geometric features, that we call conformal divergences, and focus on their left and right population minimizers. Our results are obtained in a recently coined $(u, v)$-geometric structure that is a generalization of the dually flat affine connections in information geometry. We characterize both analytically and geometrically the population minimizers. We prove that conformal divergences (resp. total Bregman divergences) are essentially exhaustive for their left (resp. right) population minimizers. We further report new results and extend previous results on the robustness to outliers of the left and right population minimizers, and discuss the role of the $(u, v)$-geometric structure in clustering. Additional results are also given.

研究の動機と目的

• 共形散発の$(u,v)$-幾何的構造における左および右の母集団最小化子を特徴づけること。
• 共形散発が左母集団最小化子に対して包括的であることを確立し、既知の通常Bregman散発が右最小化子に対して包括的であるという事実を一般化すること。
• クラスタリングのためのBregman型散発の範囲を、強力な幾何的性質とロバスト性を持つ原理的かつ包括的なクラスとして拡張すること。
• 外れ値の影響を受ける母集団最小化子のロバスト性を分析し、全Bregman散発に関する既知の結果を一般化すること。
• $(u,v)$-幾何的構造とクラスタリングに有用な同値関係との関係を調査すること。

提案手法

• 本稿は、情報幾何における双対平坦アフィン接続の一般化である$(u,v)$-幾何的構造を用い、二つの座標写像$u$および$v$を介して共形散発を定義する。
• 生成関数$\varphi$の勾配と$v$で定義される双対座標系を用いた方程式を解くことで、母集団最小化子を導出する。
• 解析的および幾何的技法を用いて最小化子を特徴づけ、例えば全指数散発では$\exp(2\mu) - \exp(\overline{x}_\varphi + \mu) + \mu - \overline{x} = 0$のような暗黙方程式を解く。
• 外れ値の影響を検討するため、摂動および病理的ケース（最小化子が一意でない場合など）における最小化子の挙動を分析する。
• スケーリングされたBregman散発へと枠組みを拡張し、左最小化子がデータの凸包内に有界であることを示す結果を得る。
• 本稿は、$v$-座標における二乗損失が、$(u,v)$-構造における唯一の1次元対称共形散発であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 共形散発の$(u,v)$-幾何的構造における左および右の母集団最小化子は何か？
• RQ2 共形散発は左母集団最小化子に対して包括的か？また、右最小化子に対しては全Bregman散発が包括的か？
• RQ3 $(u,v)$-幾何的構造は同値関係やクラスタリング幾何とどのように関係するか？
• RQ4 共形散発の左および右母集団最小化子は外れ値に対してどの程度ロバストか？
• RQ5 共形散発の一般化であるスケーリングされたBregman散発は、母集団最小化子に関してどのように振る舞うか？

主な発見

• 共形散発は左母集団最小化子に対して包括的であり、すなわち、このタイプの左最小化子はすべて共形散発に対応する。
• 全Bregman散発は右母集団最小化子に対して包括的であり、通常Bregman散発の既知の結果を拡張する。
• $v$-共形散発の左母集団最小化子は一意であるが、右最小化子は一意でない場合があり、例として領域全体にわたる非一意性が示される。
• 全パワー損失散発では、右母集団最小化子は$\exp(2\mu) - \exp(\overline{x}_\varphi + \mu) + \mu - \overline{x} = 0$を満たす。
• $v$-座標における二乗損失は、$(u,v)$-幾何的構造における唯一の1次元対称共形散発である。
• スケーリングされた共形散発の左母集団最小化子は、データの凸包内、具体的には$[\min_i x_i, \max_i x_i]$に存在し、かつ一意である。