[논문 리뷰] Twin Learning for Similarity and Clustering: A Unified Kernel Approach

Zhao Kang, Chong Peng외 1명|arXiv (Cornell University)|2017. 05. 01.

Face and Expression Recognition인용 수 20

한 줄 요약

이 논문은 유사도 행렬, 클러스터 지표, 최적의 커널 조합을 이중 학습을 통해 함께 학습하는 통합 커널 기반 프레임워크를 제안한다. 이는 각 성분을 상호 보완적으로 반복적으로 향상시켜 실제 데이터셋에서 클러스터링 성능을 크게 향상시키며, 얼굴 및 숫자 인식 데이터셋을 포함한 여러 벤치마크에서 최신 기술 수준의 성능을 기록한다.

ABSTRACT

Many similarity-based clustering methods work in two separate steps including similarity matrix computation and subsequent spectral clustering. However, similarity measurement is challenging because it is usually impacted by many factors, e.g., the choice of similarity metric, neighborhood size, scale of data, noise and outliers. Thus the learned similarity matrix is often not suitable, let alone optimal, for the subsequent clustering. In addition, nonlinear similarity often exists in many real world data which, however, has not been effectively considered by most existing methods. To tackle these two challenges, we propose a model to simultaneously learn cluster indicator matrix and similarity information in kernel spaces in a principled way. We show theoretical relationships to kernel k-means, k-means, and spectral clustering methods. Then, to address the practical issue of how to select the most suitable kernel for a particular clustering task, we further extend our model with a multiple kernel learning ability. With this joint model, we can automatically accomplish three subtasks of finding the best cluster indicator matrix, the most accurate similarity relations and the optimal combination of multiple kernels. By leveraging the interactions between these three subtasks in a joint framework, each subtask can be iteratively boosted by using the results of the others towards an overall optimal solution. Extensive experiments are performed to demonstrate the effectiveness of our method.

연구 동기 및 목표

• 유사도 행렬을 별도로 계산하고 스펙트럴 클러스터링을 수행하는 전통적인 이중 단계 유사도 기반 클러스터링 방법의 한계를 해결하기 위해, 매개변수 설정에 민감하고 최적의 유사도 측정 방법이 아닌 경우가 많다는 점을 다루기 위함.
• 비선형 데이터 구조에 도전하기 위해, 복잡한 비선형 관계를 포착할 수 있도록 직접 커널 공간에서 작동하는 방법을 개발하기 위함.
• 수동적인 커널 선택이 필요 없도록, 클러스터링 프레임워크에 다중 커널 학습을 통합하여 최적의 커널 조합을 자동으로 선택할 수 있도록 하기 위함.
• 유사도 학습, 클러스터 지표 학습, 커널 가중치 학습을 하나의 공동 최적화 프레임워크로 통합하여, 각 성분이 상호로 반복적으로 향상되도록 하기 위함.

제안 방법

• 유사도 행렬 Z와 클러스터 지표 행렬 H를 동시에 학습하는 공동 최적화 문제를 수립하며, Z의 라플라시안 행렬에 랭크 제약 조건을 적용하여 클러스터링 구조를 강제한다.
• 각 데이터 포인트가 다른 포인트들의 선형 조합으로 표현되는 자기표현 성질을 활용하여, 데이터에서 직접 전역적인 유사도 관계를 학습한다.
• 재생 핵 힐버트 공간에 최적화를 적용하여 커널 공간으로 확장함으로써, 비선형 데이터 구조를 포착할 수 있도록 한다.
• 다중 커널 학습 확장 버전을 도입하여, 최종 공통 커널을 여러 기본 커널의 가중 선형 조합으로 학습하며, 커널 가중치는 유사도 및 클러스터링 성분과 함께 공동으로 최적화된다.
• 비볼록 문제를 해결하기 위해 효율적인 교대 최적화 알고리즘을 설계하여, 수렴할 때까지 Z, H, 커널 가중치를 반복적으로 갱신한다.
• 커널 k-means, k-means, 스펙트럴 클러스터링과의 이론적 연결을 확립하여, 제안된 방법이 이러한 고전적 접근 방식을 일반화하고 향상시킴을 보여준다.

실험 결과

연구 질문

• RQ1 통합 프레임워크가 유사도 학습, 클러스터 지표 학습, 커널 선택을 함께 최적화하여 클러스터링 성능을 향상시킬 수 있는가?
• RQ2 유사도 학습과 클러스터 지표 학습 간의 상호작용이 별도 최적화와 비교해 전체 클러스터링 품질을 어떻게 향상시키는가?
• RQ3 복잡한 비선형 구조를 가진 실제 데이터셋에서, 기존의 단일 커널 및 다중 커널 클러스터링 방법보다 제안된 방법이 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 다양한 데이터셋에서 정규화 매개변수 α와 β의 선택에 대해 이 방법은 얼마나 강인한가?

주요 결과

• 제안된 SCMK 방법은 모든 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 단일 커널 및 다중 커널 기반선 대비 정확도, NMI, 순도에서 뚜렷한 향상을 보였다.
• JAFFE, AR, BA, TR11, TR45 데이터셋에서 SCMK는 다른 방법들보다 뚜렷이 뛰어난 성능을 보이며, 복잡한 구조를 가진 도전적인 실세계 데이터에서의 효과성을 입증하였다.
• 단일 커널의 최고 성능와 평균 성능 간 격차는 커널 선택의 결정적 영향을 보여주며, 자동 커널 학습의 필요성을 검증한다.
• 매개변수 α에 대해 높은 강인성을 보이며, 성능은 β에 더 민감한 편이므로 β의 조심스러운 튜닝이 유리할 수 있음을 시사한다.
• 광범위한 실험을 통해, 유사도, 클러스터링, 커널 가중치의 공동 최적화가 일관된 성능 향상을 이끌어내며, 각 성분이 서로의 피드백을 통해 향상됨을 확인하였다.