[논문 리뷰] Weighted total variation based convex clustering

Guodong Xu, Yu Xia외 1명|arXiv (Cornell University)|2018. 08. 28.

Remote-Sensing Image Classification참고 문헌 23인용 수 3

한 줄 요약

이 논문은 일반적인 데이터에 대해 정확한 클러스터링을 가능하게 하고 더 날카운 이론적 보장을 제공하는 가중치가 부여된 ℓ₁-노름 합의 볼록 클러스터링 모델을 제안한다. 이는 기존의 총 변화 기반 볼록 클러스터링을 개선한 것으로, 합성 및 실세계 데이터셋에서 k-means와 계층적 클러스터링보다 뛰어난 경험적 성능을 보이며, 특히 고차원 및 대규모 클러스터 설정에서 뛰어나다.

ABSTRACT

Data clustering is a fundamental problem with a wide range of applications. Standard methods, eg the $k$-means method, usually require solving a non-convex optimization problem. Recently, total variation based convex relaxation to the $k$-means model has emerged as an attractive alternative for data clustering. However, the existing results on its exact clustering property, ie, the condition imposed on data so that the method can provably give correct identification of all cluster memberships, is only applicable to very specific data and is also much more restrictive than that of some other methods. This paper aims at the revisit of total variation based convex clustering, by proposing a weighted sum-of-$\ell_1$-norm relating convex model. Its exact clustering property established in this paper, in both deterministic and probabilistic context, is applicable to general data and is much sharper than the existing results. These results provided good insights to advance the research on convex clustering. Moreover, the experiments also demonstrated that the proposed convex model has better empirical performance when be compared to standard clustering methods, and thus it can see its potential in practice.

연구 동기 및 목표

• 기존의 총 변화 기반 볼록 클러스터링 방법의 한계를 해결하기 위해, 제한적인 정확한 클러스터링 조건을 가지며 특정 데이터 유형에만 적용 가능한 문제점을 해결한다.
• 일반적인 데이터 분포, 즉 임의의 수의 클러스터와 i.i.d.가 아닌 데이터에 대해 정확한 클러스터링을 보장하는 볼록 클러스터링 모델을 개발한다.
• 기존 TV 기반 방법에 비해 더 날카운 이론적 분리 조건을 제공함으로써, 확장성과 클러스터 크기 비율에 대한 내성 강도를 향상시킨다.
• 고차원 및 대규모 클러스터 크기를 가진 실세계 데이터셋에서 표준 k-means와 계층적 클러스터링에 비해 경험적으로 뛰어난 성능을 입증한다.

제안 방법

• 표준 총 변화 수식을 대체하기 위해 볼록 최적화 프레임워크 내에서 가중치가 부여된 ℓ₁-노름 합 정규화 항을 제안하여 더 나은 클러스터 간 분리가 가능하도록 한다.
• 클러스터링 문제를 볼록 최소화 문제로 공식화한다: 데이터 포인트가 클러스터 중심으로부터의 편차의 프로베니우스 노름을 최소화하고, 데이터 포인트 간 상호 차이의 가중치가 부여된 ℓ₁-노름을 추가한다.
• 이중성과 부분도 분석을 활용하여 결정론적 및 확률적 설정에서 정확한 클러스터링 조건을 수립함으로써, 해가 진짜 클러스터 구성원을 정확히 복원함을 보장한다.
• 선형 프리미벌-듀얼 최적화 기법과 ADMM 유사 솔버를 활용하여 효율적으로 해를 계산함으로써 고차원 데이터에 대한 확장성을 확보한다.
• ℓ₁-노름 항에 데이터 기반 가중치를 도입하여 상호 클러스터 간 이질성에 적응적으로 강조함으로써, 클러스터 크기 불균형과 비구형 형태에 대한 내성 강도를 향상시킨다.
• 비볼록 합성 클러스터와 실세계 데이터셋(Iris, AR 얼굴, Libras, Leaf)에 대한 수치 실험을 통해 모델을 검증하며, 평가 지표로 Rand 지수를 사용한다.

실험 결과

연구 질문

• RQ1 가중치가 부여된 총 변화 기반 볼록 클러스터링 모델이 일반적인 데이터 분포, 즉 임의의 수의 클러스터와 비-i.i.d. 데이터에 대해 정확한 클러스터링을 달성할 수 있는가?
• RQ2 제안된 모델의 정확한 클러스터링을 위한 이론적 분리 조건은 기존 TV 기반 및 다른 볼록 클러스터링 방법에 비해 얼마나 더 타당하고 확장 가능한가?
• RQ3 제안된 모델이 고차원 및 대규모 클러스터 크기를 가진 실세계 데이터셋에서 표준 k-means와 계층적 클러스터링에 비해 클러스터링 정확도에서 뛰어나게 성능을 발휘하는가?
• RQ4 비볼록 클러스터, 클러스터 불균형, 고차원성 등의 데이터 구조는 제안된 볼록 클러스터링 모델의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 가중치가 부여된 ℓ₁-노름 볼록 클러스터링 모델은 일반적인 데이터에 대해 정확한 클러스터링을 달성하며, 기존 TV 기반 방법에 비해 훨씬 날카운 이론적 보장을 제공한다.
• 이 모델의 정확한 클러스터링 조건은 이전의 TV 기반 접근보다 제약이 적으며, 클러스터 크기 비율과 확장성 측면에서 다른 볼록 클러스터링 기법들보다 뛰어나다.
• 비볼록 합성 클러스터에서, 이 모델은 100회의 실행 동안 표준편차가 0인 Rand 지수 0.996을 기록했으며, k-means(평균 0.517)와 k-means++(평균 0.491)를 크게 능가했다.
• AR 얼굴 데이터셋(클러스터당 2,000장의 이미지, 100차원)에서, 이 모델은 모든 기준 모델을 압도적으로 뛰어나게 성능을 보이며 고차원, 대규모 클러스터 데이터에서 강력한 성능을 입증했다.
• 모든 테스트 데이터셋(Iris, AR 얼굴, Libras, Leaf)에서 이 모델은 일관되게 최상의 성능을 기록했으며, 매번 가장 높은 Rand 지수를 기록했다.
• 실험 결과는 가중치가 부여된 총 변화를 통한 k-means의 볼록 근사화가 이론적으로 타당할 뿐 아니라 경험적으로도 뛰어나며, 특히 도전적인 환경에서 뛰어난 성능을 발휘함을 확인했다.