[논문 리뷰] Robust Kernelized Multi-View Self-Representations for Clustering by Tensor Multi-Rank Minimization

Yanyun Qu, Jinyan Liu외 2명|arXiv (Cornell University)|2017. 09. 15.

Sparse and Compressive Sensing Techniques참고 문헌 14인용 수 5

한 줄 요약

이 논문은 비선형 부분공간을 다룰 수 있도록 데이터를 커널 유도 특성 공간으로 매핑함으로써 t-SVD-MSC를 확장한 커널화된 텐서 다중랭크 최소화 방법인 Kt-SVD-MSC를 제안한다. l_{2,1} 노름 하위문제에 대한 폐쇄형 해를 가진 ADMM 기반 최적화를 통해 상태최저 성능를 달성하였으며, 특히 도전적인 Scene-15 데이터셋에서 거의 완벽한 클러스터링 점수(NMI: 0.992, ACC: 0.990)를 기록하였다.

ABSTRACT

Most recently, tensor-SVD is implemented on multi-view self-representation clustering and has achieved the promising results in many real-world applications such as face clustering, scene clustering and generic object clustering. However, tensor-SVD based multi-view self-representation clustering is proposed originally to solve the clustering problem in the multiple linear subspaces, leading to unsatisfactory results when dealing with the case of non-linear subspaces. To handle data clustering from the non-linear subspaces, a kernelization method is designed by mapping the data from the original input space to a new feature space in which the transformed data can be clustered by a multiple linear clustering method. In this paper, we make an optimization model for the kernelized multi-view self-representation clustering problem. We also develop a new efficient algorithm based on the alternation direction method and infer a closed-form solution. Since all the subproblems can be solved exactly, the proposed optimization algorithm is guaranteed to obtain the optimal solution. In particular, the original tensor-based multi-view self-representation clustering problem is a special case of our approach and can be solved by our algorithm. Experimental results on several popular real-world clustering datasets demonstrate that our approach achieves the state-of-the-art performance.

연구 동기 및 목표

• 기존의 텐서-SVD 기반 다중뷰 클러스터링 방법은 선형 부분공간에 국한되어 있어 비선형 데이터에서 성능이 열 劣한다는 한계를 해결한다.
• 비선형 구조가 선형으로 분리 가능한 특성 공간으로 데이터를 매핑하는 커널화된 프레임워크를 개발하여 클러스터링 성능을 향상시킨다.
• 텐서 다중랭크 최소화를 사용한 커널화된 다중뷰 자기표현 클러스터링을 위한 강건한 최적화 모델을 제안한다.
• 모든 하위문제에 대해 폐쇄형 해를 갖는 효율적인 ADMM 기반 알고리즘을 설계하여 국소 최적점이 아닌 전역 최적점으로 수렴함을 보장한다.
• 다양한 실제 세계 데이터셋, 특히 Scene-15와 같은 도전적인 벤치마크에서 뛰어난 성능을 입증한다.

제안 방법

• 비선형 부분공간을 다룰 수 있도록 재생핵 힐버트 공간에서 작동하는 텐서-SVD 기반 다중뷰 자기표현 클러스터링의 커널화된 버전인 Kt-SVD-MSC를 제안한다.
• 노이즈 및 이방치에 강건한 성능을 향상시키기 위해 l_{2,1}-노름 정규화된 목표 함수를 사용한 텐서 다중랭크 최소화 문제를 수립한다.
• 비부드러운 볼록 최적화 문제를 효율적으로 해결하기 위해 다중 블록을 사용한 분할된 다중승수 방법(ADMM)을 적용한다.
• 특히 l_{2,1} 노름을 포함한 모든 하위문제에 대해 폐쇄형 해를 유도하여 정확하고 빠른 계산을 가능하게 한다.
• 특성 공간 내의 내적을 명시적 매핑 없이 암묵적으로 계산할 수 있도록 커널 트릭을 활용하여 계산 효율성을 향상시킨다.
• 커널을 선형으로 설정할 경우 원래의 t-SVD-MSC가 특수한 경우로 포함되도록 하여 후행 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 커널화가 텐서-SVD 기반 다중뷰 클러스터링을 비선형 부분공간에서 오는 데이터를 다룰 수 있도록 효과적으로 확장할 수 있는가?
• RQ2 텐서 다중랭크 최소화를 사용한 제안된 커널화된 최적화 모델이 기존의 선형 및 비선형 다중뷰 클러스터링 방법보다 더 뛰어난 클러스터링 성능을 낼 수 있는가?
• RQ3 l_{2,1} 하위문제에 대한 폐쇄형 해를 갖는 ADMM 기반 알고리즘이 커널화된 환경에서 빠르고 안정적인 수렴을 달성할 수 있는가?
• RQ4 제안된 방법은 Scene-15와 같이 복잡한 구조를 지닌 벤치마크 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ5 비선형 방법에 비해 커널화된 접근 방식이 다중뷰 데이터의 공통성 및 상보성 특성을 얼마나 잘 유지하는가?

주요 결과

• 제안된 Kt-SVD-MSC는 Scene-15 데이터셋에서 최신 기술 수준의 성능을 기록하였으며, NMI 0.992, ACC 0.990, AR 0.983, F-score 0.984를 달성하여 비교된 모든 방법들을 압도적으로 뛰어넘었다.
• Extended YaleB 데이터셋에서는 NMI 0.893, ACC 0.896, F-score 0.832를 기록하여 얼굴 클러스터링 작업에서 뛰어난 성능을 보였다.
• ORL 데이터셋에서는 NMI 0.994, ACC 0.971, F-score 0.972를 기록하여 물체 및 얼굴 인식 작업에서 거의 완벽한 클러스터링 결과를 나타냈다.
• COIL-20 데이터셋에서는 NMI 0.992, ACC 0.990, F-score 0.985를 기록하여 일반적인 물체 클러스터링 작업 전반에 걸쳐 뛰어난 강건성을 입증했다.
• 그림 5의 수렴 곡선은 알고리즘이 매우 빠르게 수렴하며, 재구성 오차와 매칭 오차가 15회 반복 이내에 급격히 감소하고 이후 안정화됨을 보여준다.
• 선형 커널을 사용할 경우 원래의 t-SVD-MSC가 특수한 경우로 포함되므로 이론적 일관성과 더 넓은 적용 가능성을 확인한다.