[논문 리뷰] Large Scale Correlation Clustering Optimization

Shai Bagon, Meirav Galun|arXiv (Cornell University)|2011. 12. 13.

Bayesian Methods and Mixture Models참고 문헌 21인용 수 56

한 줄 요약

이 논문은 상관 클러스터링에 대한 대규모 최적화 알고리즘을 제안하며, 확률적 해석과 Potts 모델에 대한 유사성에 기반하여 자동 모델 선택 기능을 제공하고, 100,000개 이상의 변수로도 확장 가능하게 한다. 이 방법은 사전 지정된 클러스터 수 없이도 클러스터 할당을 동시에 최적화하고 클러스터 수를 추정함으로써 비지도 얼굴 식별 및 인터랙티브 다중 객체 세분화에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Clustering is a fundamental task in unsupervised learning. The focus of this paper is the Correlation Clustering functional which combines positive and negative affinities between the data points. The contribution of this paper is two fold: (i) Provide a theoretic analysis of the functional. (ii) New optimization algorithms which can cope with large scale problems (>100K variables) that are infeasible using existing methods. Our theoretic analysis provides a probabilistic generative interpretation for the functional, and justifies its intrinsic "model-selection" capability. Furthermore, we draw an analogy between optimizing this functional and the well known Potts energy minimization. This analogy allows us to suggest several new optimization algorithms, which exploit the intrinsic "model-selection" capability of the functional to automatically recover the underlying number of clusters. We compare our algorithms to existing methods on both synthetic and real data. In addition we suggest two new applications that are made possible by our algorithms: unsupervised face identification and interactive multi-object segmentation by rough boundary delineation.

연구 동기 및 목표

• 상관 클러스터링 기능의 엄밀한 확률적 생성 해석을 제공하여, 이 기능이 내재된 모델 선택 능력을 갖추고 있음을 정당화한다.
• 기존의 볼록 완화 방법으로는 처리가 불가능한 대규모 문제(100,000개 이상의 변수)를 다룰 수 있는 확장 가능한 최적화 알고리즘을 개발한다.
• 상관 클러스터링과 Potts 모델 간의 유사성을 활용하여, 자동으로 클러스터 수를 복원할 수 있는 효율적인 이산 최적화 알고리즘을 설계한다.
• 컴퓨터 비전 분야에 새로운 응용을 가능하게 하며, 비지도 얼굴 식별 및 원시 경계에서부터의 인터랙티브 다중 객체 세분화를 포함한다.

제안 방법

• 논문은 쌍별 유사도가 클러스터별로 특화된 분포에서 추출된다는 생성 확률 모델을 유도하며, 이 모델 하에서 상관 클러스터링 기능이 최대 사후 확률 추정치임을 정당화한다.
• 상관 클러스터링 기능과 이산 Potts 에너지 간의 유사성을 수립하여 고급 이산 최적화 기법의 적용을 가능하게 한다.
• 비하위모듈러리티 에너지, 알려지지 않은 클러스터 수, 단항 항의 부재를 다룰 수 있는 새로운 이산 최적화 알고리즘(예: 적응형 레이블 ICM, 스왑 앤 익스플로어)을 제안한다.
• 알고리즘은 신뢰도 전파와 국소 탐색 전략을 사용하여 솔루션 공간을 효율적으로 탐색하면서도 모델 선택 성질을 유지한다.
• 쌍별 유사도 신뢰도를 표현하기 위해 학습된 마할라노비스 거리와 로그오즈 변환에서 유도된 유사도를 사용한다.
• 대규모 데이터에서 상관 클러스터링 기능을 직접 최적화함으로써 강건한 클러스터링과 자동 클러스터 수 추정을 통합한다.

실험 결과

연구 질문

• RQ1 상관 클러스터링 기능은 어떻게 확률적으로 해석될 수 있으며, 이는 그 내재된 모델 선택 능력에 어떤 함의를 갖는가?
• RQ2 상관 클러스터링과 Potts 모델 간의 관계는 무엇이며, 이 유사성은 최적화에 어떻게 기여하는가?
• RQ3 비하위모듈러리티, 비凸성, 제약 없음의 특성을 갖는 상관 클러스터링 기능을 대규모로 다룰 수 있도록 이산 최적화 기법을 어떻게 적응시킬 수 있는가?
• RQ4 제안된 알고리즘이 사전 지정 없이 진짜 클러스터 수를 자동으로 복원할 수 있으며, 이는 기존 방법과 비교해 어떻게 다른가?
• RQ5 상관 클러스터링을 대규모로 최적화하고 자동 모델 선택을 가능하게 하면 어떤 새로운 컴퓨터 비전 응용이 실현 가능한가?

주요 결과

• 확률적 해석은 상관 클러스터링이 가정된 생성 모델 하에서 더 적은 수의 클러스터를 자연스럽게 선호함을 정당화하며, 내재된 모델 선택 성질을 뒷받침한다.
• Potts 모델과의 유사성은 100,000개 이상의 변수로 확장 가능한 효율적인 이산 최적화 알고리즘 설계를 가능하게 하여, 이전의 볼록 완화 방법의 한계를 극복한다.
• 특히 적응형 레이블 ICM과 스왑 앤 익스플로어 알고리즘은 다양한 테스트 세트(15에서 35개의 클러스터)에서 높은 클러스터 순도를 달성하고 진짜 인원 수를 정확히 복원한다.
• 비지도 얼굴 식별에서, 이 방법은 정확한 개별 인물 수(k′ ≈ k)를 높은 순도로 식별하며, 연결 성분 및 스펙트럼 갭 기반 접근법을 능가한다.
• 알고리즘은 원시 경계에서부터의 인터랙티브 다중 객체 세분화 및 새로운 인물에 대한 비지도 얼굴 클러스터링과 같은 새로운 응용을 가능하게 한다.
• 실행 시간 평가 결과, 적응형 레이블 ICM은 정확도는 유지하면서 다른 방법들에 비해 뚜렷한 속도 우수성을 보였다.