[논문 리뷰] Constrained 1-Spectral Clustering

Syama Sundar Rangapuram, Matthias Hein|arXiv (Cornell University)|2015. 05. 24.

Face and Expression Recognition참고 문헌 18인용 수 10

한 줄 요약

이 논문은 제약 조건이 있는 정규화 컷 문제를 연속 최적화 프레임워크로 엄밀하게 풀이하는 새로운 방법인 제약 1-스펙트럴 클러스터링(COSC)을 소개한다. 이 방법은 반드시 연결(must-link) 및 연결 불가 불가연결(cannot-link) 제약 조건을 완전히 만족시키며, 기존의 방법들과는 달리 정규화 컷 최소화를 동시에 최적화한다. 다양한 데이터셋, 특히 MNIST와 Shuttle과 같은 대규모 데이터셋에서도 클러스터링 정확도와 컷 품질 측면에서 기존 방법들을 능가한다.

ABSTRACT

An important form of prior information in clustering comes in form of cannot-link and must-link constraints. We present a generalization of the popular spectral clustering technique which integrates such constraints. Motivated by the recently proposed $1$-spectral clustering for the unconstrained problem, our method is based on a tight relaxation of the constrained normalized cut into a continuous optimization problem. Opposite to all other methods which have been suggested for constrained spectral clustering, we can always guarantee to satisfy all constraints. Moreover, our soft formulation allows to optimize a trade-off between normalized cut and the number of violated constraints. An efficient implementation is provided which scales to large datasets. We outperform consistently all other proposed methods in the experiments.

연구 동기 및 목표

• 기존의 제약 조건이 있는 스펙트럴 클러스터링 방법들이 제약 조건을 보장하지 못하는 한계를 해결하기 위해.
• 제약 조건이 있는 정규화 컷 문제에 대해 엄밀한 연속 최적화 풀이를 개발하여 정확한 제약 조건 이행을 가능하게 하기 위해.
• 대규모 데이터셋에서도 높은 클러스터링 정확도를 유지하면서도 확장 가능한 솔루션을 제공하기 위해.
• 불일치하거나 노이즈가 있는 제약 조건의 경우, 정규화 컷과 제약 위반 사이의 민감한 트레이드오프를 지원하기 위해.

제안 방법

• COSC는 1-라플라시안 프레임워크를 사용하여 제약 조건이 있는 정규화 컷 문제를 연속 최적화 문제로 재구성함으로써 이산 조합 문제의 엄밀한 풀이를 가능하게 한다.
• 노이즈가 있거나 일관되지 않은 제약 조건을 수용하기 위해, 정규화 컷과 위반된 제약 조건 수 사이의 최적화를 허용하는 소프트 제약 형식을 도입한다.
• 다양한 랜덤 초기화를 사용한 비볼록 최적화 기법을 적용하여 고품질의 해로의 수렴을 향상시킨다.
• 제약 조건은 수정된 목적 함수를 통해 직접 연속 풀이에 must-link 및 cannot-link 조건을 구현한다.
• 참고문헌 [9]의 기법을 기반으로 한 효율적인 구현을 통해 대규모 데이터셋, 특히 MNIST와 Shuttle에까지 확장 가능하다.
• 모든 제약 조건을 만족하는 초기 분할을 제공하거나, 향상이 없을 경우 한 번의 반복 후 종료된다.

실험 결과

연구 질문

• RQ1 제약 조건이 있는 정규화 컷 문제의 연속적 풀이가 반드시 연결 및 연결 불가 조건을 완전히 만족시킬 수 있는가?
• RQ2 제안된 방법은 기존의 제약 조건이 있는 스펙트럴 클러스터링 방법들과 비교해 정규화 컷과 클러스터링 오차 측면에서 어떻게 성능을 내는가?
• RQ3 불일치하거나 신뢰할 수 없는 제약 조건이 있는 경우, 정규화 컷 품질과 제약 위반 사이의 트레이드오프를 통해 방법이 이를 처리할 수 있는가?
• RQ4 이 방법은 MNIST와 Shuttle과 같은 대규모 데이터셋에 대해 효과적으로 확장 가능한가?

주요 결과

• COSC는 모든 데이터셋에서 기준선 방법들을 일관되게 능가하며, Spam과 USPS(0 대 나머지)와 같은 불균형 데이터셋에서도 뚜렷한 개선을 보였다.
• 특히 MNIST와 Shuttle과 같은 대규모 데이터셋에서 SCLC보다 유의미하게 낮은 정규화 컷 값을 기록하여 더 뛰어난 컷 품질을 입증했다.
• SCLC는 이론적으로는 제약 조건을 보장하지만 실질적으로는 실패하는 반면, COSC는 모든 실행에서 제약 조건을 완전히 보장한다.
• SCLC가 그러한 문제에 스케일링되지 못하는 데 반해, COSC는 유일하게 다중 분할 문제에서 완전한 제약 조건 이행을 가능하게 한다.
• 불일치하는 제약 조건이 있는 실험에서는 COSC가 정규화 컷과 제약 위반 사이의 균형을 효과적으로 유지하며, 신뢰할 수 없는 입력에 대해 강건함을 입증했다.
• 이 방법은 대규모 데이터셋에 대해 효율적으로 확장되며, MNIST(630,000개 샘플)와 Shuttle(58,000개 샘플)를 성공적으로 처리했다. 이는 다른 방법들, 예를 들어 CSP가 조밀한 행렬 연산으로 인해 실패한 영역이다.