[논문 리뷰] A Simple Approach to Automated Spectral Clustering

Jicong Fan, Yiheng Tu외 3명|arXiv (Cornell University)|2021. 07. 23.

Face and Expression Recognition인용 수 9

한 줄 요약

이 논문은 다양한 카메라 설정과 초점 거리에서의 이미지 품질을 고려하여, 최적의 유사도 행렬을 상대 고유간격 최대화 기반으로 선택하는 간단하면서도 효과적인 자동 스펙트럴 클러스터링 방법인 AutoSC를 제안한다. 다양한 유사도 행렬 구축(AMC) 방법과 하이퍼파rameter 조합으로 생성된 후보 유사도 행렬들 중에서 최적의 것을 선별한다. 또한 빠른 최소 제곱 표현 기반 AMC 방법과 확장 가능한 선형 시간 복잡도 확장 기법을 도입하여, 기존 최신 기법들에 비해 대규모 자연 이미지 클러스터링 벤치마크에서 뛰어난 정확도와 효율성을 달성한다.

ABSTRACT

The performance of spectral clustering heavily relies on the quality of affinity matrix. A variety of affinity-matrix-construction (AMC) methods have been proposed but they have hyperparameters to determine beforehand, which requires strong experience and leads to difficulty in real applications, especially when the inter-cluster similarity is high and/or the dataset is large. In addition, we often need to choose different AMC methods for different datasets, which still depends on experience. To solve these two challenging problems, in this paper, we present a simple yet effective method for automated spectral clustering. First, we propose to find the most reliable affinity matrix via grid search or Bayesian optimization among a set of candidates given by different AMC methods with different hyperparameters, where the reliability is quantified by the extit{relative-eigen-gap} of graph Laplacian introduced in this paper. Second, we propose a fast and accurate AMC method based on least squares representation and thresholding and prove its effectiveness theoretically. Finally, we provide a large-scale extension for the automated spectral clustering method, of which the time complexity is linear with the number of data points. Extensive experiments of natural image clustering show that our method is more versatile, accurate, and efficient than baseline methods.

연구 동기 및 목표

• 수동으로 조정된 유사도 행렬 구축(AMC) 방법에 의존함으로써 스펙트럴 클러스터링의 하이퍼파ram터 민감도 문제를 해결하기 위해.
• 고차원 클러스터 간 유사도가 높은 다양한 데이터셋에서 최적의 AMC 방법과 하이퍼파ram터를 선택하는 데 어려움을 극복하기 위해.
• 경험에 의존하지 않는 자동화된 스펙트럴 클러스터링 프레임워크를 개발하여 정확도와 효율성을 향상시키기 위해.
• 효율적인 샘플링 및 근사 기법을 활용하여 선형 시간 복잡도로 확장함으로써 대규모 데이터셋에의 확장성을 보장하기 위해.

제안 방법

• 그래프 라플라시안의 신뢰도를 정량화하기 위해 상대 고유간격 지표를 제안하며, 이는 k번째와 (k+1)번째 고유값 간 격차를 첫 k개 고유값의 평균으로 나눈 비율로 정의된다.
• 다양한 AMC 방법과 하이퍼파ram터 조합으로 생성된 후보 집합 중에서 상대 고유간격이 가장 큰 유사도 행렬을 선택하기 위해 그리드 서치 또는 베이지안 최적화를 사용한다.
• 이론적 조건 하에서 부분공간 탐지 기능을 유지하는 것을 입증한 새로운 최소 제곱 표현(LSR) 기반 AMC 방법을 도입한다.
• 효율적인 샘플링 및 근사 기법을 활용하여 선형 시간 복잡도 O(n)을 확보하는 대규모 AutoSC 확장 기법을 설계한다.
• 선택된 최적의 유사도 행렬을 정규화된 컷(Normalized Cut)에 통합하여 최종 클러스터링을 수행한다.
• 이론적 분석을 통해 LSR 기반 방법이 특정 고유값 및 노름 제약 조건을 만족할 경우 부분공간 탐지 기능을 유지함을 증명한다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋에서 스펙트럴 클러스터링에 가장 적합한 유사도 행렬을 신뢰성 있게 식별할 수 있는 상대 고유간격 지표는 존재하는가?
• RQ2 수동 하이퍼파ram터 조정을 제거하기 위해 완전히 자동화된 스펙트럴 클러스터링 파이프라인을 어떻게 설계할 수 있는가?
• RQ3 최소 제곱 표현 기반 AMC 방법이 부분공간 구조를 유지하는 데 있어 이론적 보장은 무엇인가?
• RQ4 제안된 방법은 고정밀도 클러스터링 정확도를 유지하면서 대규모 데이터셋에 확장 가능한가?
• RQ5 기존 최신 기법들과 비교해 AutoSC는 성능과 효율성 면에서 어떻게 다른가?

주요 결과

• AutoSC는 대규모 자연 이미지 데이터셋에서 기존의 최신 기법들인 SSC, LRR 및 딥러닝 기반 접근법들을 능가하는 최고 수준의 클러스터링 정확도를 달성한다.
• 상대 고유간격 지표는 클러스터 간 유사도가 높은 경우에도 최적의 유사도 행렬을 효과적으로 식별하여 전문 지식 의존도를 감소시킨다.
• 제안된 LSR 기반 AMC 방법은 특정 하이퍼파ram터 제약 조건을 만족할 경우 이론적으로 부분공간 탐지 기능을 유지함을 입증하여 강건성을 확보한다.
• AutoSC의 대규모 확장 기법은 선형 시간 복잡도 O(n)을 확보하여 수십만 개의 포인트를 포함한 데이터셋에 대해 실현 가능하다.
• 광범위한 실험 결과 AutoSC는 기준 기법들에 비해 더 넓은 적용 범위, 높은 정확도 및 효율성을 보이며, 특히 자동화 및 대규모 환경에서 뛰어난 성능을 발휘한다.