[論文レビュー] Total Jensen divergences: Definition, Properties and k-Means++ Clustering

Frank Nielsen, Richard Nock|arXiv (Cornell University)|Sep 27, 2013

Statistical Mechanics and Entropy参考文献 22被引用数 9

ひとこと要約

本稿では、凸関数から導かれる回転不変性を持つ新たなクラスの散ららんさ（divergence）であるトータル・ジェンセン散ららんさを導入する。これは、ジェンセン散ららんさとブレグマン散ららんさを一般化するものである。本稿では、k-means++初期化が、これらの散ららんさにおける最適k-meansクラスタリングに対して定数倍の近似解を提供することを確立しており、クラスタリングの品質と外れ値に対して強いトータル・ジェンセン重心の性質について理論的境界を提示する。

ABSTRACT

We present a novel class of divergences induced by a smooth convex function called total Jensen divergences. Those total Jensen divergences are invariant by construction to rotations, a feature yielding regularization of ordinary Jensen divergences by a conformal factor. We analyze the relationships between this novel class of total Jensen divergences and the recently introduced total Bregman divergences. We then proceed by defining the total Jensen centroids as average distortion minimizers, and study their robustness performance to outliers. Finally, we prove that the k-means++ initialization that bypasses explicit centroid computations is good enough in practice to guarantee probabilistically a constant approximation factor to the optimal k-means clustering.

研究の動機と目的

• 回転不変であり、既存のジェンセン散ららんさおよびブレグマン散ららんさを一般化する新たな散ららんさの族、すなわちトータル・ジェンセン散ららんさを導入すること。
• トータル・ジェンセン重心を平均歪み最小化者として定義し、外れ値に対してそのロバストネスを分析すること。
• k-means++初期化が、トータル・ジェンセン散ららんさを歪み尺度として用いる場合、最適k-meansクラスタリングに対して定数倍の近似解を提供することを証明すること。
• 特に、非可分な共形因子とトータル・ブレグマン散ららんさとの関係を含め、これらの散ららんさの幾何学的および統計的性質を調査すること。

提案手法

• 本稿では、生成関数のヘッセ行列から導かれる共形因子を用いて、標準的なスケュー・ジェンセン散ららんさを共形スケーリングした形でトータル・ジェンセン散ららんさを定義する。
• 生成関数の条件数（K₁）とリプシッツ条件（K₂）に関する仮定を用いて、トータル・ジェンセン散ららんさの理論的境界を確立する。
• k-means++初期化が、期待されるトータル・ジェンセンポテンシャルの上界を導出し、最適k-meansクラスタリングに対する定数近似因子を示す。
• 閉形式解が存在しない場合に、トータル・ジェンセン重心を近似するための2段階の反復的アルゴリズムを導入する。
• ロバストネスの評価のため、トータル・ジェンセン重心の影響関数を分析し、そのロバストネスが生成関数の選択に依存することを示す。
• トータル・ジェンセン散ららんさとトータル・ブレグマン散ららんさを比較し、共形因子の構造的差異と極限挙動の違いを強調する。

実験結果

リサーチクエスチョン

• RQ1 回転不変性を持つようにトータル・ジェンセン散ららんさを定義可能であるか。また、その不変性は幾何学的・統計的性質にどのように影響を与えるか。
• RQ2 トータル・ジェンセン散ららんさを歪み尺度として用いる場合、k-means++初期化が最適k-meansクラスタリングに対して定数倍の近似解を提供するか。
• RQ3 トータル・ジェンセン重心は外れ値に対してロバストか。そのロバストネスは生成関数の選択にどのように依存するか。
• RQ4 トータル・ジェンセン散ららんさとトータル・ブレグマン散ららんさの関係は何か。特に、共形因子と極限ケースの観点から。
• RQ5 特に多次元かつ非可分な場合において、トータル・ジェンセン重心は重み付き歪み平均の唯一の最小化者か。

主な発見

• トータル・ジェンセン散ららんさは、三角不等式を定数係数 U = 2(1 + K₂)K₁² / ε で満たす。ここで K₁ はヘッセ行列の条件数、K₂ はリプシッツ定数である。
• 対称不等式条件は V = K₁²(1 + K₂)/ε で成り立ち、k-means++初期化における有界なクラスタリングポテンシャルを保証する。
• k-means++を用いた期待されるトータル・ジェンセンポテンシャルは、最適ポテンシャルの 2U²(1 + V)(2 + log k) 倍以下に抑えられ、定数近似因子が保証される。
• 与えられた仮定のもとで、トータル・ジェンセン重心の影響関数は有界であることが示され、外れ値に対してロバストであることが示唆される。
• 一般にはトータル・ジェンセン重心は閉形式解を持たないが、2段階の反復的アルゴリズムにより効果的に近似可能である。
• トータル・ジェンセン・シャノン散ららんさは、標準的なジェンセン・シャノン散ららんさの平方根とは異なり、距離の性質を満たさない。