[논문 리뷰] Beyond Low-Rank Representations: Orthogonal Clustering Basis Reconstruction with Optimized Graph Structure for Multi-view Spectral Clustering

Yang Wang, Lin Wu|arXiv (Cornell University)|2017. 08. 04.

Face and Expression Recognition참고 문헌 21인용 수 4

한 줄 요약

이 논문은 저랭크 표현(Low-Rank Representation, LRR)을 잠재적인 클러스터링된 직교 투영으로 분해함으로써 다양한 뷰 간의 클러스터링 표현을 더 유연하게 표현하고, 뷰 간 일致하는 그래프 학습을 가능하게 하는 새로운 다중 뷰 스펙트럴 클러스터링 방법인 직교 클러스터 기반 복원 최적화 그래프 구조(Orthogonal Clustering Basis Reconstruction with Optimized Graph Structure, OCB-OGS)를 제안한다. 이는 다양한 기준 데이터셋에서 기존의 LRR 기반 모델보다 정확도와 일致성 측면에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Low-Rank Representation (LRR) is arguably one of the most powerful paradigms for Multi-view spectral clustering, which elegantly encodes the multi-view local graph/manifold structures into an intrinsic low-rank self-expressive data similarity embedded in high-dimensional space, to yield a better graph partition than their single-view counterparts. In this paper we revisit it with a fundamentally different perspective by discovering LRR as essentially a latent clustered orthogonal projection based representation winged with an optimized local graph structure for spectral clustering; each column of the representation is fundamentally a cluster basis orthogonal to others to indicate its members, which intuitively projects the view-specific feature representation to be the one spanned by all orthogonal basis to characterize the cluster structures. Upon this finding, we propose our technique with the followings: (1) We decompose LRR into latent clustered orthogonal representation via low-rank matrix factorization, to encode the more flexible cluster structures than LRR over primal data objects; (2) We convert the problem of LRR into that of simultaneously learning orthogonal clustered representation and optimized local graph structure for each view; (3) The learned orthogonal clustered representations and local graph structures enjoy the same magnitude for multi-view, so that the ideal multi-view consensus can be readily achieved. The experiments over multi-view datasets validate its superiority.

연구 동기 및 목표

• 다중 뷰 스펙트럴 클러스터링에서 저랭크 표현(Low-Rank Representation, LRR)의 한계, 특히 클러스터링 구조의 유연하지 못한 표현 방식과 뷰 간 일致하지 않는 그래프 크기 문제를 해결하기 위해.
• LRR를 최적화된 局소 그래프 구조를 가진 잠재적인 클러스터링된 직교 투영으로 재정의하여 더 표현력 있고 민감한 클러스터링 모델링을 가능하게 하기 위해.
• 각 뷰에 대해 직교 클러스터링 표현과 뷰 간 일致하는 최적화된 국소 그래프 구조를 동시에 학습하여 이상적인 다중 뷰 일치를 확보하기 위해.
• 다양한 뷰 간 균형 잡힌, 크기 동일한 표현을 확보하여 다중 뷰 일치성과 클러스터링 성능을 향상시키기 위해.

제안 방법

• LRR를 저랭크 행렬 분해로 분해하여 각 열이 직교 클러스터 기반을 나타내는 잠재적인 클러스터링된 직교 표현을 추출한다.
• LRR 문제를 각 뷰에 대한 직교 클러스터링 표현과 최적화된 국소 그래프 구조의 공동 최적화 문제로 재정의한다.
• 표현과 그래프 양측에 대해 뷰 간 균형 잡힌 크기를 강제하는 통합 목적 함수를 도입하여 효과적인 다중 뷰 일치를 가능하게 한다.
• 클러스터 직교성, 그래프 최적화, 다중 뷰 일치를 위한 정규화 항을 포함한 제약 조건 최적화 프레임워크를 사용하며, 교차 최적화를 통해 해결한다.
• 학습된 직교 클러스터 기반과 최적화된 그래프를 바탕으로 유사도 행렬을 구성하고 스펙트럴 클러스터링을 수행한다.
• 표현과 그래프의 크기를 뷰 간 동일하게 유지하여 일관되고 강력한 다중 뷰 클러스터링을 보장한다.

실험 결과

연구 질문

• RQ1 저랭크 표현(Low-Rank Representation, LRR)은 최적화된 국소 그래프 구조를 가진 잠재적인 클러스터링된 직교 투영으로 재해석될 수 있는가? 이는 다중 뷰 클러스터링을 향상시키는 데 기여하는가?
• RQ2 LRR를 직교 클러스터 기반으로 분해하는 것은 기존의 LRR보다 더 민감하고 정확한 클러스터링 구조 모델링을 가능하게 하는가?
• RQ3 직교 표현과 국소 그래프 구조를 뷰 간 공동 최적화함으로써 더 나은 다중 뷰 일치성과 클러스터링 성능를 달성할 수 있는가?
• RQ4 표현과 그래프의 크기 일치성이 뷰 간에 유지될 경우 다중 뷰 스펙트럴 클러스터링의 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 OCB-OGS 방법은 UCI 숫자 데이터셋에서 92.22%의 클러스터링 정확도를 달성하여 다음으로 높은 성능을 보인 LRRGL(86.39%)을 크게 앞서며 뛰어난 성능을 보였다.
• AwA 데이터셋에서 OCB-OGS는 44.55%의 정확도를 기록하여 RLRR(31.49%)와 LRRGL(37.22%)를 모두 초월하며 노이즈와 복잡한 구조에 대한 뛰어난 저항성을 입증했다.
• NUS-WIDE 데이터셋에서 OCB-OGS는 45.78%의 정확도와 26.42%의 NMI를 기록하여 CCAMSC 및 Co-training을 포함한 모든 기준 모델을 능가하며 뛰어난 성능을 보였다.
• 그림 1의 시각적 비교 결과, OCB-OGS는 더 이상한 블록-대각 행렬을 가지는 이상적인 다중 뷰 유사도 행렬을 생성함으로써 더 강한 클러스터 일치성을 나타낸다.
• 파라미터 분석 결과, λ₂ = 0.7 및 β = 0.25에서 최적의 성능를 기록하며, 이 값들을 초월할 경우 성능 저하가 발생하여 안정적이고 강력한 하이퍼파rameter 민감도를 확인했다.
• 20%의 희소 노이즈 손상 조건에서도 뛰어난 저항성을 보이며, RLRR 및 LRRGL 대비 특징 노이즈에 대한 강건성을 입증했다.