[論文レビュー] Clustering processes

Daniil Ryabko|arXiv (Cornell University)|Apr 29, 2010

Computability, Logic, AI Algorithms参考文献 18被引用数 17

ひとこと要約

本論文は、各データポイントが定常エルゴード確率過程からの標本であるクラスタリング過程のための新しい漸近的一致性フレームワークを導入する。単純で多項式時間のアルゴリズムが、独立性やパラメトリックモデルの制約なしに、最小限の非パrametric仮定のもとで一貫性（同じ分布からの標本を正しくグループ化）を達成できることを証明している。

ABSTRACT

The problem of clustering is considered, for the case when each data point is a sample generated by a stationary ergodic process. We propose a very natural asymptotic notion of consistency, and show that simple consistent algorithms exist, under most general non-parametric assumptions. The notion of consistency is as follows: two samples should be put into the same cluster if and only if they were generated by the same distribution. With this notion of consistency, clustering generalizes such classical statistical problems as homogeneity testing and process classification. We show that, for the case of a known number of clusters, consistency can be achieved under the only assumption that the joint distribution of the data is stationary ergodic (no parametric or Markovian assumptions, no assumptions of independence, neither between nor within the samples). If the number of clusters is unknown, consistency can be achieved under appropriate assumptions on the mixing rates of the processes. (again, no parametric or independence assumptions). In both cases we give examples of simple (at most quadratic in each argument) algorithms which are consistent.

研究の動機と目的

• 標本が同じ分布からのものである場合に、それらをグループ化すべきであるという自然で一般的な漸近的一貫性の定式化を目的とする。
• 独立性、パラメトリックモデル、またはマルコフ構造の仮定なしに、一貫性のあるクラスタリングが達成可能であることを示す。特に、定常性とエルゴード性の仮定のみで十分であることを示す。
• クラスタ数が未知であっても、計算的に効率的（多項式時間）なアルゴリズムを提供し、その一貫性を達成することを目的とする。
• 古典的な問題（同質性検定やプロセス分類）を統一的なクラスタリングフレームワークに一般化することを目的とする。
• クラスタ数が未知である場合の混合条件（α-またはβ-混合）のもとで理論的性能バウンドを確立し、一様集中不等式を用いて誤差バウンドを導出することを目的とする。

提案手法

• クラスタリングの一貫性を、アルゴリズムの出力が真のクラスタリングに確率的に収束することとして定義する。ここで、同じ分布からの標本が同じクラスタにグループ化される。
• 過程実現の有限ブロックの経験的周波数に基づく距離尺度を用い、エルゴード性のもとで真の分布的距離に収束することを保証する。
• エルゴード定理を用いて、有限ブロックの経験的周波数がほとんど確実にその真の確率に収束することを保証する。
• 関連するすべてのシリンダーセットとブロック長さの和集合を用いて、経験的周波数と期待値との乖離を制御する。
• クラスタ数が未知の場合、混合条件（α-またはβ-混合）を用いて収束速度を制御し、誤差バウンドを導出する。
• 2つの標本間の距離を比較し、距離がしきい値未満であればクラスタに割り当てるという、クラスタリングアルゴリズム（アルゴリズム2）を構築する。

実験結果

リサーチクエスチョン

• RQ1 定常エルゴード過程から生成されるデータに対して、パラメトリックモデルや独立性の仮定なしに、一貫性のあるクラスタリングアルゴリズムを定義できるか？
• RQ2 クラスタ数が未知である場合、弱い混合条件のもとで漸近的一致性を達成することは可能か？
• RQ3 α-混合とβ-混合の異なる混合レームにおいて、クラスタリングアルゴリズムの収束速度をどのようにバウンドできるか？
• RQ4 提案されたフレームワークは、古典的な統計的問題（同質性検定やプロセス分類）を一般化できるか？
• RQ5 最小限の仮定のもとで一貫性を達成する際の、計算的・統計的トレードオフは何か？

主な発見

• 標本の連合分布が定常エルゴードであるという仮定のもとで、パラメトリックモデルや独立性の仮定なしに、一貫性のあるクラスタリングが可能である。
• クラスタ数が既知の場合、定常性とエルゴード性の仮定のみで一貫性が達成可能であり、ペアあたり最大二次時間計算量の単純なアルゴリズムを用いる。
• クラスタ数が未知の場合、混合係数の既知の減衰率が与えられるα-混合条件下でも、一貫性は達成可能であり、誤差バウンドは混合係数に依存する。
• 誤差確率は、混合係数とブロック数を含む項の和でバウンドされ、β-混合仮定のもとではより緊密なバウンドが得られる。
• このフレームワークは、同質性検定（N=2）とプロセス分類（N=3, k=2）を、クラスタリング問題の特別なケースとして一般化する。
• 提案されたアルゴリズムは計算的に効率的であり、多項式時間で実装可能であり、一様集中不等式を用いて性能保証が得られる。