[논문 리뷰] Clustering processes

Daniil Ryabko|arXiv (Cornell University)|2010. 04. 29.

Computability, Logic, AI Algorithms참고 문헌 18인용 수 17

한 줄 요약

이 논문은 각 데이터 포인트가 정상ergodic 확률과정의 표본인 클러스터링 과정에 대한 새로운 渐近적 일致성 프레임워크를 제안한다. 단순하고 다항시간 알고리즘으로도 최소한의 비모수적 가정 하에 일치성—동일한 분포에서 온 표본을 정확히 그룹화하는 것—을 달성할 수 있음을 증명한다. 이는 독립성 또는 비모수적 모델링 제약 조건이 없이도 가능하다.

ABSTRACT

The problem of clustering is considered, for the case when each data point is a sample generated by a stationary ergodic process. We propose a very natural asymptotic notion of consistency, and show that simple consistent algorithms exist, under most general non-parametric assumptions. The notion of consistency is as follows: two samples should be put into the same cluster if and only if they were generated by the same distribution. With this notion of consistency, clustering generalizes such classical statistical problems as homogeneity testing and process classification. We show that, for the case of a known number of clusters, consistency can be achieved under the only assumption that the joint distribution of the data is stationary ergodic (no parametric or Markovian assumptions, no assumptions of independence, neither between nor within the samples). If the number of clusters is unknown, consistency can be achieved under appropriate assumptions on the mixing rates of the processes. (again, no parametric or independence assumptions). In both cases we give examples of simple (at most quadratic in each argument) algorithms which are consistent.

연구 동기 및 목표

• 표본이 동일한 분포에서 온 경우 반드시 같은 클러스터로 묶여야 하는 자연적이고 일반적인 渐近적 일치성의 정의를 체계화하는 것.
• 일치성 클러스터링이 최소한의 가정—특히 정상성과 ergodicity—하에서 달성 가능함을 보여주는 것—독립성, 비모수적 모델, 또는 마르코프 성질이 필요로 하지 않는 것.
• 알고리즘의 계산 효율성(다항시간)을 확보하면서도 클러스터 수가 알려지지 않은 경우에도 일치성을 달성하는 알고리즘 제공.
• 클래식한 문제들—예를 들어 동질성 검정과 과정 분류—를 통합된 클러스터링 프레임워크 내에서 일반화하는 것.
• 클러스터 수가 알려지지 않은 상황에서 혼합 조건 하에 이론적 성능 한계를 설정하는 것—혼합 조건 하에서 균일 농도 부등식을 사용하여.

제안 방법

• 알고리즘의 출력이 참 클러스터링으로 확률적 수렴하는 방식으로 클러스터링 일치성을 정의하며, 동일한 분포에서 온 표본들이 같은 클러스터로 묶여야 한다.
• 과정 실현에서 실현 빈도를 기반으로 한 거리 측도를 사용하며, 이는 ergodicity 하에서 진짜 분포 거리로 수렴한다.
• ergodic 정리를 적용하여 유한 블록의 실현 빈도가 거의 확실히 진짜 확률로 수렴하도록 보장한다.
• 모든 관련된 실린더 집합과 블록 길이에 대해 유니온 바운드를 적용하여 실현 빈도가 기대값에서 벗어나지 않도록 통제한다.
• 클러스터 수가 알려지지 않은 경우, 혼합 조건(α- 또는 β-혼합)을 사용하여 수렴 속도를 통제하고 오차 한계를 유도한다.
• 쌍별 거리를 비교하고 거리가 임계값 이하일 경우 표본을 클러스터에 할당하는 알고리즘(알고리즘 2)을 구축한다.

실험 결과

연구 질문

• RQ1 정상ergodic 과정에서 생성된 데이터에 대해 비모수적 또는 독립성 가정 없이도 일치성 클러스터링 알고리즘을 정의할 수 있는가?
• RQ2 클러스터 수가 알려지지 않은 상황에서 약한 혼합 조건 하에서 渐近적 일치성을 달성할 수 있는가?
• RQ3 다양한 혼합 제도(α- 대비 β-혼합) 하에서 클러스터링 알고리즘의 수렴 속도를 어떻게 한계화할 수 있는가?
• RQ4 제안된 프레임워크는 동질성 검정과 과정 분류와 같은 고전적 통계 문제를 일반화할 수 있는가?
• RQ5 최소한의 가정 하에서 일치성을 달성할 때 계산적이고 통계적 상호보완성은 어떻게 발생하는가?

주요 결과

• 표본의 공동분포가 정상ergodic라는 가정 하에, 비모수적 모델링이나 독립성 가정 없이도 일치성 클러스터링이 가능하다.
• 클러스터 수가 알려진 경우, 정상성과 ergodicity 이외의 추가 가정 없이도 단순한 알고리즘을 사용하여 일치성이 달성되며, 쌍당 최대 제곱 시간 복잡도를 가진다.
• 클러스터 수가 알려지지 않은 경우, 알려진 감쇠율을 가진 α-혼합 조건 하에서 여전히 일치성이 달성되며, 오차 한계는 혼합 계수에 의존한다.
• 오차 확률은 혼합 계수와 블록 수를 포함하는 항들의 합으로 유계이며, β-혼합 가정 하에서는 더 날카로운 한계를 확보할 수 있다.
• 이 프레임워크는 동질성 검정(N=2)과 과정 분류(N=3, k=2)를 클러스터링 문제의 특수한 경우로 일반화한다.
• 제안된 알고리즘은 계산적으로 효율적이며 다항시간 내에 구현 가능하며, 균일 농도 부등식을 통해 성능 보장을 도출한다.