[論文レビュー] Clustering in Hilbert simplex geometry

Frank Nielsen, Ke Sun|arXiv (Cornell University)|Apr 3, 2017

Face and Expression Recognition参考文献 110被引用数 6

ひとこと要約

本稿では、情報単調性を満たす非可分なヒルベルト距離を活用することで、確率単体内のカテゴリカル分布のクラスタリングに計算的に効率的なフレームワークとしてヒルベルト単体幾何を導入する。両方の距離が正規化対数表現上でのノルム距離であることが示され、k-meansおよびk-centerアルゴリズムを用いた実験的評価により、リーマン的および情報幾何的アプローチを上回る優れたクラスタリング性能を示す。

ABSTRACT

Clustering categorical distributions in the finite-dimensional probability simplex is a fundamental task met in many applications dealing with normalized histograms. Traditionally, the differential-geometric structures of the probability simplex have been used either by (i) setting the Riemannian metric tensor to the Fisher information matrix of the categorical distributions, or (ii) defining the dualistic information-geometric structure induced by a smooth dissimilarity measure, the Kullback-Leibler divergence. In this work, we introduce for clustering tasks a novel computationally-friendly framework for modeling geometrically the probability simplex: The {\em Hilbert simplex geometry}. In the Hilbert simplex geometry, the distance is the non-separable Hilbert's metric distance which satisfies the property of information monotonicity with distance level set functions described by polytope boundaries. We show that both the Aitchison and Hilbert simplex distances are norm distances on normalized logarithmic representations with respect to the $\ell_2$ and variation norms, respectively. We discuss the pros and cons of those different statistical modelings, and benchmark experimentally these different kind of geometries for center-based $k$-means and $k$-center clustering. Furthermore, since a canonical Hilbert distance can be defined on any bounded convex subset of the Euclidean space, we also consider Hilbert's geometry of the elliptope of correlation matrices and study its clustering performances compared to Fröbenius and log-det divergences.

研究の動機と目的

• 確率単体におけるクラスタリングのための計算的に効率的な幾何的フレームワークの開発。
• 既存の情報幾何的およびリーマン的モデルと比較して、ヒルベルト単体幾何が実用的であることを確立すること。
• 非可分なヒルベルト単体距離の情報単調性を証明すること。
• k-meansおよびk-centerクラスタリングにおいて、フィッシャー＝ラオ、カルバック・ライブラーマン、全変動距離と比較してヒルベルト幾何をベンチマークすること。
• フレームワークを相関行列の楕円体に拡張し、フロベニウス距離および対数行列式発散距離と比較すること。

提案手法

• 非可分なヒルベルト距離を用いた確率単体上でのヒルベルト単体幾何が定義され、これは射影変換に対して不変である。
• 楕円体上でのビルホフの射影的距離の閉形式式が導出され、特化したアルゴリズムを用いずに正確な計算が可能になる。
• 両方の距離が正規化対数表現上でのノルム距離であることが確立され、前者はℓ₂ノルム、後者は変動（ℓ₁）ノルムを用いる。
• 公式11を用いてヒルベルト単体距離を直接計算するフレームワークが適用され、反復的または特化したソルバーを回避する。
• k-meansおよびk-centerアルゴリズムをヒルベルト距離に基づいて実行し、実験的ベンチマークによる収束性および性能分析が行われる。
• この手法は、相関行列の楕円体へと拡張され、ヒルベルト距離がトンプソン距離およびカルバック・ライブラーマン発散距離と比較される。

実験結果

リサーチクエスチョン

• RQ1 ヒルベルト単体幾何は、既存の情報幾何的フレームワークと比較して、計算的に効率的かつ幾何学的に整合的な代替手段を提供できるか？
• RQ2 非可分なヒルベルト単体距離は、情報幾何における重要な要件である情報単調性を満たすか？
• RQ3 ヒルベルト単体距離とアイチソン距離は、正規化対数表現空間上のノルム空間とどのように関係するか？
• RQ4 フィッシャー＝ラオ、カルバック・ライブラーマン、全変動距離と比較して、ヒルベルト幾何の実験的クラスタリング性能はどの程度向上するか？
• RQ5 ヒルベルト幾何のフレームワークは、相関行列の楕円体のような他の有界凸領域へ一般化可能か？

主な発見

• 非可分なヒルベルト単体距離は、情報単調性を満たしており、この度量に関しては、これまで理論的証明がなされていなかった重要な理論的性質である。
• 楕円体上でのビルホフの射影的距離の閉形式式が導出され、正確かつ効率的な計算が可能になる。
• ヒルベルト単体距離は、正規化対数表現空間上での変動（ℓ₁）ノルムにおけるノルム距離であることが示された。
• 実験的結果から、ヒルベルト幾何に基づくk-meansおよびk-centerアルゴリズムが、フィッシャー＝ラオおよびカルバック・ライブラーマン距離を用いた多様体ベースのアプローチを上回るクラスタリング性能を示した。
• ヒルベルトボールはFHRおよびIGベースのボールと比較して、より鋭いクラスタリング領域を提供し、収束性の向上および競争力のある性能に寄与している。
• この手法は楕円体へ一般化され、ヒルベルト距離はトンプソン距離および対称化されたカルバック・ライブラーマン発散距離と比較して優れた性能を示した。