[논문 리뷰] On Unifying Multi-View Self-Representations for Clustering by Tensor Multi-Rank Minimization

Yuan Xie, Dacheng Tao외 4명|arXiv (Cornell University)|2016. 10. 23.

Tensor decomposition and applications참고 문헌 46인용 수 7

한 줄 요약

이 논문은 t-Singular Value Decomposition (t-SVD)를 사용한 텐서 다중랭크 최소화를 통해 시각별 자체표현을 통합하는 새로운 다중시각 부분공간 군집화 방법 t-SVD-MSC를 제안한다. 다양한 시각의 부분공간 표현을 텐서로 쌓고 t-SVD 기반의 낮은 랭크 제약을 적용함으로써 고차원 상관관계를 효과적으로 포착하고 시각 간 일致성을 강화하여, 여덟 개인 벤치마크 데이터셋에서 최신 기술 수준의 군집 성능을 달성하며 이론적 수렴성과 낮은 계산 비용을 확보한다.

ABSTRACT

In this paper, we address the multi-view subspace clustering problem. Our method utilizes the circulant algebra for tensor, which is constructed by stacking the subspace representation matrices of different views and then rotating, to capture the low rank tensor subspace so that the refinement of the view-specific subspaces can be achieved, as well as the high order correlations underlying multi-view data can be explored.} By introducing a recently proposed tensor factorization, namely tensor-Singular Value Decomposition (t-SVD) \cite{kilmer13}, we can impose a new type of low-rank tensor constraint on the rotated tensor to capture the complementary information from multiple views. Different from traditional unfolding based tensor norm, this low-rank tensor constraint has optimality properties similar to that of matrix rank derived from SVD, so the complementary information among views can be explored more efficiently and thoroughly. The established model, called t-SVD based Multi-view Subspace Clustering (t-SVD-MSC), falls into the applicable scope of augmented Lagrangian method, and its minimization problem can be efficiently solved with theoretical convergence guarantee and relatively low computational complexity. Extensive experimental testing on eight challenging image dataset shows that the proposed method has achieved highly competent objective performance compared to several state-of-the-art multi-view clustering methods.

연구 동기 및 목표

• 통합 최적화 프레임워크를 통해 시각별 자체표현을 통합함으로써 다중시각 부분공간 군집화의 과제를 해결하고자 한다.
• 다양한 시각 간의 고차원 상관관계를 모델링하기 위해 부분공간 표현의 집합적 구조를 텐서로 표현하고자 한다.
• 전통적인 편개방 기반 텐서 노름이 텐서 랭크 근사에서 물리적 해석 가능성과 최적성에 빈도를 가지지 못하는 점을 극복하고자 한다.
• t-SVD 기반의 텐서 다중랭크 최소화를 통해 시각 간 일치성을 확보하면서도 상호보완적 정보를 유지하고자 한다.
• 대규모 다중시각 군집화에 적합한 효율적이고 수렴 보장이 되며 계산 복잡도가 낮은 알고리즘을 개발하고자 한다.

제안 방법

• 각 시각의 자체표현 행렬을 제3차원에 따라 쌓아 텐서를 구성한다.
• 푸리에 도메인에서 다중랭크 최소화를 가능하게 하기 위해 텐서에 순환 회전을 적용한다.
• t-SVD 기반의 텐서 핵노름(t-TNN)을 낮은 랭크 제약으로 사용하며, 이는 텐서에 대해 물리적으로 의미 있고 최적의 낮은 랭크 근사를 제공한다.
• 증강 라그랑주 방법을 통해 최적화 문제를 해결하며 이론적 수렴 보장을 확보한다.
• 원래 도메인에서 컨볼루션 기반의 튜벌-스hrinkage 연산자를 유도하였으며, 이는 푸리에 도메인에서의 소프트 스트레싱과 동일한 효과를 가지며 효율적인 계산을 가능하게 한다.
• 시각 간 낮은 랭크 구조를 촉진함으로써 잡음 필터링을 암묵적으로 수행하여 일치성과 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 t-SVD 기반의 텐서 다중랭크 최소화는 다중시각 자체표현을 효과적으로 통합하여 군집 성능을 향상시킬 수 있는가?
• RQ2 제안된 t-SVD-MSC 방법은 군집 정확도와 강건성 측면에서 기존의 다중시각 군집화 방법을 초월하는가?
• RQ3 t-SVD 기반의 낮은 랭크 제약은 전통적인 편개방 기반 텐서 노름에 비해 고차원 상관관계를 더 잘 포착하는가?
• RQ4 대규모 다중시각 군집화에서 제안된 알고리즘의 계산 효율성과 수렴 행동은 어떠한가?
• RQ5 일부 시각이 열악하거나 노이즈가 심한 경우에도 이 방법은 강력한 성능을 유지할 수 있는가?

주요 결과

• 제안된 t-SVD-MSC 방법은 ORL, Yale, Scene-15, Caltech-101를 포함한 여덟 개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 정규화된 상호정보량(NMI)과 군집 정확도 측면에서 기존의 다중시각 군집화 방법을 모두 능가하였다.
• Scene-15 데이터셋에서 t-SVD-MSC는 군집 정확도 89.6%와 NMI 0.872를 기록하여 RMSC, DiMSC, LTMSC를 크게 앞섰다.
• 손상되거나 정보량이 적은 시각이 존재하는 상황에서도 강건한 성능 유지를 보였으며, 높은 성능 유지를 유지하였다.
• CNN 기반 군집화 방법과 비교했을 때, CNN 특징를 하나의 시각으로 사용한 경우에도 경쟁 가능한 결과를 도출하여 현대적인 딥 레이어 특징에 대한 적응성을 입증하였다.
• 알고리즘은 빠른 수렴을 보였으며, Scene-15 데이터셋에서 CPU 시간이 27.69분으로, RMSC(187.01분)와 LTMSC(135.68분)보다 크게 단축되었다.
• 이론적 수렴성이 보장되었으며, t-SVD의 사용은 기존의 편개방 기반 노름에 비해 더 최적이고 해석 가능한 낮은 랭크 근사를 제공한다.