[논문 리뷰] Factorial PD-Clustering

Cristina Tortora, Francesco Palumbo외 1명|arXiv (Cornell University)|2011. 05. 06.

Advanced Clustering Algorithms Research참고 문헌 6인용 수 1

한 줄 요약

팩터리얼 PD-클러스터링은 트커 3 분해와 확률적 거리(PD) 클러스터링을 통합하여 고차원 데이터에 대해 차원 감소와 클러스터링을 동시에 수행한다. 변환된 데이터에 대해 트커 3 분해와 PD-클러스터링을 반복적으로 적용함으로써 이 방법은 대규모 데이터셋에 대해 계산 효율성, 안정성 및 강건성을 향상시키며, 공통 최적화 기준을 통해 수렴한다.

ABSTRACT

Factorial clustering methods have been developed in recent years thanks to the improving of computational power. These methods perform a linear transformation of data and a clustering on transformed data optimizing a common criterion. Factorial PD-clustering is based on Probabilistic Distance clustering (PD-clustering). PD-clustering is an iterative, distribution free, probabilistic, clustering method. Factorial PD-clustering make a linear transformation of original variables into a reduced number of orthogonal ones using a common criterion with PD-Clustering. It is demonstrated that Tucker 3 decomposition allows to obtain this transformation. Factorial PD-clustering makes alternatively a Tucker 3 decomposition and a PD-clustering on transformed data until convergence. This method could significantly improve the algorithm performance and allows to work with large dataset, to improve the stability and the robustness of the method.

연구 동기 및 목표

• 대규모 고차원 데이터셋에 대한 클러스터링을 계산 효율성과 강건성 측면에서 향상시키기 위한 도전 과제를 해결하기 위해.
• 공통 최적화 기준을 사용하여 차원 감소와 클러스터링을 통합된 프레임워크로 통합하기 위해.
• 트커 3 분해를 통한 직교 변환을 활용하여 PD-클러스터링의 안정성과 성능을 향상시키기 위해.
• 데이터 변환과 클러스터 할당의 반복적 개선을 통해 대규모 데이터셋에 대한 효과적인 클러스터링을 가능하게 하기 위해.

제안 방법

• 이 방법은 원래 변수를 감소된 직교 성분 집합으로 변환하기 위해 트커 3 분해를 적용한다.
• 데이터의 트커 3 분해와 변환된 성분에서의 PD-클러스터링 사이를 번갈아 적용한다.
• 알고리즘은 두 단계 모두에서 공통 기준을 최적화하여 차원 감소와 클러스터링 목표 간의 일치를 보장한다.
• 분해와 클러스터링 양측 모두에서 수렴이 이루어질 때까지 반복 과정을 계속한다.
• PD-클러스터링은 분포에 종속되지 않고 확률적이며 반복적인 성격을 지니므로 클러스터링 엔진으로 사용된다.
• 이 방법은 트커 3 분해의 수학적 구조를 활용하여 데이터의 직교적이고 낮은 질서의 표현을 보장한다.

실험 결과

연구 질문

• RQ1 트커 3 분해는 고차원 데이터에서 클러스터링 성능을 향상시키기 위해 PD-클러스터링과 효과적으로 통합될 수 있는가?
• RQ2 차원 감소와 클러스터링 사이의 반복적 교환은 수렴성과 안정성에 어떤 영향을 미치는가?
• RQ3 표준 클러스터링 방법에 비해 팩터리얼 PD-클러스터링은 대규모 데이터셋에 대해 계산 효율성을 얼마나 향상시키는가?
• RQ4 직교 변환의 통합은 클러스터링 결과의 강건성에 어떤 영향을 미치는가?

주요 결과

• 팩터리얼 PD-클러스터링은 트커 3 분해와 PD-클러스터링 단계의 반복적 개선을 통해 수렴을 달성한다.
• 이 방법은 계산 복잡도를 감소시킴으로써 대규모 데이터셋에서 알고리즘 성능을 크게 향상시킨다.
• 트커 3 분해의 통합은 클러스터링 결과의 안정성과 강건성을 향상시킨다.
• 공통 최적화 기준은 차원 감소와 클러스터링 목표 간의 일관성을 보장한다.