[論文レビュー] Towards an Axiomatic Approach to Hierarchical Clustering of Measures

Philipp Thomann, Ingo Steinwart+1 more|arXiv (Cornell University)|Aug 15, 2015

Bayesian Methods and Mixture Models参考文献 25被引用数 6

ひとこと要約

本稿では、距離や類似度測度に依存せずに、確率測度の階層的クラスタリングの公理的枠組みを提案する。クラスタリングは、基本的測度上でのユーザー指定クラスタリングによって定義され、加法性および連続性の公理の下で、密度を持たない分布を含む広範な分布のクラスに対して、一意な階層的クラスタリングが誘導されることを証明する。主な貢献は、無限標本の設定や混合ヒルベルト次元測度にまで拡張可能な、一般かつ数学的に厳密なクラスタリングの基礎を提供することにある。

ABSTRACT

We propose some axioms for hierarchical clustering of probability measures and investigate their ramifications. The basic idea is to let the user stipulate the clusters for some elementary measures. This is done without the need of any notion of metric, similarity or dissimilarity. Our main results then show that for each suitable choice of user-defined clustering on elementary measures we obtain a unique notion of clustering on a large set of distributions satisfying a set of additivity and continuity axioms. We illustrate the developed theory by numerous examples including some with and some without a density.

研究の動機と目的

• 距離や類似度測度に依存しない、一般の確率測度の階層的クラスタリングの公理的枠組みを構築すること。
• 基本的な測度の集合上でのユーザー定義クラスタリングを指定することで、測度上でのクラスタリングを関数として形式化すること。
• このようなクラスタリング関数が加法性および連続性の公理によって一意に定まる条件を確立すること。
• 密度を持たない分布や混合ヒルベルト次元を持つ分布を含む複雑な分布に対しても理論を拡張すること。
• 無限標本クラスタリングのための厳密な基礎を提供し、一貫性や学習速度の分析を可能にすること。

提案手法

• 確率測度上の階層的クラスタリング関数を規定する公理（公理1、2、3）を定義し、加法性および連続性に重点を置く。
• 距離や類似度の概念を必要とせず、基本的測度クラス上でのユーザーのクラスタリング指定を出発点とする。
• 定義18による極限構造の概念を導入し、クラスタリング拡張の一意性を保証する。
• 定理20を証明し、一意な極限構造の存在に十分な条件を確立することで、一意な加法的かつ連続的クラスタリングの構成を可能にする。
• 密度レベル集合や混合ヒルベルト次元測度を含む例に枠組みを適用し、既知のクラスタリング概念と整合することを示す。
• 内正則性、台の定義、ラドン＝ニコディム微分などの測度論的道具を用いて、連続性および加法性を形式化する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが基本的測度上に指定したクラスタリングに基づき、広範な確率測度クラス上で一意な階層的クラスタリング関数を定義できるか？
• RQ2 特に加法性および連続性の公理が、クラスタリング拡張の一意性を保証するために必要かつ十分な条件は何か？
• RQ3 この公理的枠組みは、密度レベル集合クラスタリングやモードに基づくクラスタリングといった既存のクラスタリング概念とどのように関係するか？
• RQ4 密度を持たない分布、例えば特異測度や混合ヒルベルト次元を持つ測度に対しても、この枠組みは対応可能か？
• RQ5 一般の測度空間において、一意性に不可欠な極限構造が存在するための条件は何か？

主な発見

• ユーザーが基本的測度上に指定する適切なクラスタリングの選択に対して、加法性および連続性の公理を満たす広範な確率測度クラス上に一意な階層的クラスタリングが存在する。
• 定理20は、定義18による基準を用いて、一意な極限構造の存在を保証する。これは、一意なクラスタリング関数を構成する上で不可欠である。
• 定理21は、定理20の条件を満たす限り、全測度空間上に一意な加法的かつ連続的クラスタリング関数が存在することを確立する。
• この枠組みは、密度レベル集合クラスタリングを包含・一般化しており、そのクラスタリングが公理的アプローチの特別な場合として自然に導かれることが示される。
• 理論は、ポリッシュ空間や弱位相を備えた分離可能なバナッハ空間を含むラドン空間上の測度に適用可能であり、混合ヒルベルト次元を持つ測度に対しても有効である。
• 測度の台や絶対連続性（例えば、ラドン＝ニコディム微分を介して）を正式に用いることで、クラスタリング関数の連続性および一貫性が保証される。