[논문 리뷰] Unified Spectral Clustering with Optimal Graph

Zhao Kang, Chong Peng외 2명|arXiv (Cornell University)|2017. 11. 12.

Face and Expression Recognition참고 문헌 14인용 수 3

한 줄 요약

이 논문은 전통적인 세 단계 방법의 단점을 피하기 위해 단일 최적화 과정에서 최적의 유사도 그래프와 이산 클러스터 레이블을 동시에 학습하는 통합 스펙트럴 클러스터링 프레임워크를 제안한다. 유사도 학습, 연속 레이블 완화, 이산 레이블 개선을 통합하고, 다중 커널 학습을 통한 강화를 통해 다양한 데이터셋에서 뛰어난 클러스터링 성능을 달성하며, 정확도, NMI, 순도 측면에서 최신 기법들을 능가한다.

ABSTRACT

Spectral clustering has found extensive use in many areas. Most traditional spectral clustering algorithms work in three separate steps: similarity graph construction; continuous labels learning; discretizing the learned labels by k-means clustering. Such common practice has two potential flaws, which may lead to severe information loss and performance degradation. First, predefined similarity graph might not be optimal for subsequent clustering. It is well-accepted that similarity graph highly affects the clustering results. To this end, we propose to automatically learn similarity information from data and simultaneously consider the constraint that the similarity matrix has exact c connected components if there are c clusters. Second, the discrete solution may deviate from the spectral solution since k-means method is well-known as sensitive to the initialization of cluster centers. In this work, we transform the candidate solution into a new one that better approximates the discrete one. Finally, those three subtasks are integrated into a unified framework, with each subtask iteratively boosted by using the results of the others towards an overall optimal solution. It is known that the performance of a kernel method is largely determined by the choice of kernels. To tackle this practical problem of how to select the most suitable kernel for a particular data set, we further extend our model to incorporate multiple kernel learning ability. Extensive experiments demonstrate the superiority of our proposed method as compared to existing clustering approaches.

연구 동기 및 목표

• 기존의 고정된, 최적이 아닌 유사도 그래프로 인한 성능 저하 문제를 해결하기 위해.
• 연속 스펙트럴 레이블을 이산화할 때 k-means에 의해 유도되는 민감성과 근사 오차 문제를 극복하기 위해.
• 스펙트럴 클러스터링의 세 단계—유사도 그래프 구축, 연속 레이블 학습, 이산 레이블 할당—을 단일 최적화 프레임워크로 통합하기 위해.
• 복잡한 고차원 데이터에 적응적으로 최적의 커널 조합을 선택할 수 있는 다중 커널 학습 확장 기법을 개발하기 위해.
• 유사도 그래프, 연속 레이블, 이산 클러스터 할당을 상호 보완적으로 반복적으로 향상시키는 강인한 종단 간 솔루션을 제공하기 위해.

제안 방법

• 단일 목표 함수 내에서 유사도 그래프, 연속 클러스터 지표, 이산 클러스터 레이블을 동시에 학습하는 통합 최적화 프레임워크를 도입한다.
• 커널 공간 매핑을 활용해 탄력적이고 데이터 적응형 유사도 학습을 가능하게 하여, 유클리드 거리나 k-NN과 같은 고정된 거리 측정법을 대체한다.
• 학습된 유사도 행렬이 c개의 클러스터에 정확히 c개의 연결된 컴ponent를 가져야 한다는 제약 조건을 도입하여 구조적 일관성을 확보한다.
• 연속 스펙트럴 해를 더 잘 근사한 이산 레이블로 변환하기 위한 재할당 전략을 적용하여 진정한 이산 솔루션에서의 편차를 줄인다.
• 각 구성 요소(유사도 그래프, 연속 레이블, 이산 레이블)를 다른 구성 요소의 현재 상태를 기반으로 번갈아가며 업데이트하는 반복적 교대 최적화 기법을 사용한다.
• 단일 커널 모델을 다중 커널 학습으로 확장하여 최적의 커널 가중치를 학습함으로써 이질적이고 고차원적인 데이터에 대한 적응성을 향상시킨다.

실험 결과

연구 질문

• RQ1 통합 최적화 프레임워크를 통해 최적의 유사도 그래프와 이산 클러스터 레이블을 동시에 학습시킬 수 있는가? 이는 기존의 순차적 세 단계 스펙트럴 클러스터링 파이프라인을 초월하는가?
• RQ2 유사도 그래프와 이산 레이블을 종단 간으로 학습함으로써 기존 방법에 비해 정보 손실가 줄어드는가?
• RQ3 기준 데이터셋에서 제안된 방법은 기존의 단일 커널 및 다중 커널 클러스터링 기법들보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 제안된 방법은 하이퍼파rameter에 얼마나 민감한가? 다양한 데이터 유형과 노이즈 수준에서도 강인한 성능을 유지하는가?
• RQ5 통합 프레임워크 내에서 다중 커널 학습을 통해 고차원이고 복잡한 데이터에서 클러스터링 성능을 추가로 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 아홉 개의 기준 데이터셋에서 정확도, NMI, 순도 측면에서 뛰어난 클러스터링 성능을 달성하며, 항상 최신 기법들을 능가한다.
• 전통적인 세 단계 방법의 최고 성능조차도 제안된 방법의 평균 성능에 비해 뚜렷이 열등하며, 일부 경우에선 근접한 성능이지만 여전히 열등하다.
• 모델은 파rameter 선택에 매우 강인하여 α, β, γ의 넓은 범위에서도 성능 저하가 최소화되어 강력한 안정성을 보인다.
• 다중 커널 확장(SMK)은 단일 커널 버전보다 항상 성능 향상을 보이며, 적응형 커널 조합의 가치를 입증한다.
• 랜덤 포레스트 기반의 유사도 방법(ClustRF-a)은 이미지 데이터에서는 잘 작동하지만 텍스트 데이터에선 실패함으로써, 이러한 접근 방식의 한계가 제안된 통합 프레임워크에 비해 뚜렷하게 드러난다.
• k-means 기반 방법들이 최고 성능를 달성하기 위해 다수의 재시작이 필요한 것과 달리, 제안된 방법은 단일 실행으로도 최고 성능를 기록한다.