[논문 리뷰] Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation

Yuheng Jia, Hui Liu외 3명|arXiv (Cornell University)|2020. 04. 30.

Sparse and Compressive Sensing Techniques참고 문헌 38인용 수 5

한 줄 요약

이 논문은 다중 시각 스펙트럼 클러스터링(MVSC)을 위한 새로운 텐서 저질서 노름을 제안하며, 대칭 저질서 제약을 통해 내시각 블록-대각 유사도 구조를 명시적으로 모델링하고, 구조적 희소 저질서 제약을 통해 상호 시각 간의 열 기반 희소성도 모델링한다. 이 방법은 다섯 개인 벤치마크 데이터셋에서 최신의 MVSC 접근법을 능가하며, 강력하고 쉽게 조정 가능한 초매개변수를 통해 뛰어난 클러스터링 정확도를 달성한다.

ABSTRACT

This paper explores the problem of multi-view spectral clustering (MVSC) based on tensor low-rank modeling. Unlike the existing methods that all adopt an off-the-shelf tensor low-rank norm without considering the special characteristics of the tensor in MVSC, we design a novel structured tensor low-rank norm tailored to MVSC. Specifically, we explicitly impose a symmetric low-rank constraint and a structured sparse low-rank constraint on the frontal and horizontal slices of the tensor to characterize the intra-view and inter-view relationships, respectively. Moreover, the two constraints could be jointly optimized to achieve mutual refinement. On the basis of the novel tensor low-rank norm, we formulate MVSC as a convex low-rank tensor recovery problem, which is then efficiently solved with an augmented Lagrange multiplier based method iteratively. Extensive experimental results on five benchmark datasets show that the proposed method outperforms state-of-the-art methods to a significant extent. Impressively, our method is able to produce perfect clustering. In addition, the parameters of our method can be easily tuned, and the proposed model is robust to different datasets, demonstrating its potential in practice.

연구 동기 및 목표

• 기존의 텐서 저질서 노름이 다중 시각 스펙트럼 클러스터링(MVSC)에서 텐서를 일반적으로 다루며 MVSC 전용의 구조적 특성을 활용하지 못하는 한계를 해결하기 위해.
• 각 시각 내의 블록-대각 유사도 패턴을 반영하기 위해 전면 텐서 슬라이스에 대칭 저질서 제약을 적용하여 내시각 관계를 명시적으로 모델링하기 위해.
• 각 시각 간의 샘플 일관성을 반영하기 위해 가로 슬라이스에 열 기반의 구조적 희소 저질서 제약을 적용하여 상호 시각 관계를 모델링하기 위해.
• 두 제약 조건을 동시에 최적화하여 상호 보완적 개선을 이루고, 표준 텐서 저질서 노름을 초월한 클러스터링 성능 향상을 위해.
• 실용적인 초매개변수 선택에 강건한 효과적이고 효율적인 볼록 저질서 텐서 복원 프레임워크를 개발하기 위해.

제안 방법

• MVSC에 특화된 대칭 저질서 및 구조적 희소 저질서 제약을 결합한 새로운 텐서 저질서 노름(LRTN)을 제안한다.
• 전면 슬라이스에 대칭 저질서 제약을 적용하여 내시각 유사도를 나타내는 블록-대각 구조를 유지한다.
• 가로 슬라이스에 열 기반의 구조적 희소 저질서 제약을 적용하여 다양한 시각 간의 관계를 모델링한다.
• 제안된 LRTN을 사용하여 볼록 최적화 문제로 MVSC를 재구성하며, 두 제약 조건과 ℓ2,1-노름을 함께 통합하여 강건성을 확보한다.
• 증강 라그랑주 승수(ALT) 방법을 사용하여 교차 최소화 기반의 반복 최적화를 수행한다.
• 3차원 텐서 표현에서의 저질서 구조를 효율적으로 활용하기 위해 텐서 특이값 분해(t-SVD)를 적용한다.

실험 결과

연구 질문

• RQ1 다중 시각 스펙트럼 클러스터링의 구조적 특성에 맞게 특화된 텐서 저질서 노름이 일반 목적의 텐서 저질서 노름을 능가할 수 있는가?
• RQ2 전면 슬라이스의 대칭 저질서 제약과 가로 슬라이스의 구조적 희소 저질서 제약이 함께 어떻게 클러스터링 성능을 향상시키는가?
• RQ3 제안된 방법은 다양한 특성을 지닌 다양한 데이터셋에 대해 얼마나 일반화되는가?
• RQ4 초매개변수 선택에 대해 얼마나 강건한가? 실질적으로 쉽게 조정할 수 있는가?
• RQ5 제안된 모델은 다양한 초기 유사도 행렬을 가진 기존 MVSC 방법에 대해 후처리 보완 수단으로 사용될 수 있는가?

주요 결과

• 제안된 방법은 다섯 개의 벤치마크 데이터셋에서 최신의 클러스터링 성능를 달성하며, 11개의 기존 MVSC 방법보다 뚜렷이 뛰어나다.
• ORL 데이터셋에서 최고의 클러스터링 정확도(ACC)는 ℓ2,1-노름 매개변수 α ∈ [2,7]일 때 도달되며, 이는 성능에 미치는 영향력이 크다는 것을 시사한다.
• 정규화 매개변수 λ에 대해 강건하며, ORL 및 Coil20 데이터셋에서 넓은 범위(λ ∈ [10,44])에서 최적 성능가 관찰된다.
• 모든 데이터셋에서 ω₁ ∈ [0.3,0.7], α ∈ [2,7], λ ∈ [10,44]의 초매개변수가 일관되게 효과적이며, 조정이 용이함을 시사한다.
• 절단 실험 결과, 특히 전면 슬라이스의 대칭 저질서 제약을 제거할 경우 성능이 뚜렷이 악화되며, 각 구성 요소의 필요성을 검증한다.
• 기존 방법(LT-MSC 및 ETLMC 등)에 후처리로 적용했을 때도 성능 향상이 나타나, 다양한 초기 유사도 행렬에 대한 강력한 적응 가능성을 입증한다.