[논문 리뷰] Seeking Commonness and Inconsistencies: A Jointly Smoothed Approach to Multi-view Subspace Clustering

Xiaosha Cai, Dong Huang외 2명|arXiv (Cornell University)|2022. 03. 15.

Advanced Clustering Algorithms Research인용 수 5

한 줄 요약

이 논문은 교차 뷰 공통성과 이질성을 동시에 모델링하면서 뷰-공동 그룹화 효과와 저질서 수식 정규화를 활용하는 새로운 다중 뷰 부분공간 군집화 방법인 JSMC를 제안한다. 이러한 구성 요소들을 통합 최적화 프레임워크에 통합함으로써 JSMC는 여러 기준 데이터셋에서 최신 기술 수준의 군집화 성능를 달성하며, 공동 부드러운 정규화와 구조적 표현 학습을 통해 개선된 강인성을 입증한다.

ABSTRACT

Multi-view subspace clustering aims to discover the hidden subspace structures from multiple views for robust clustering, and has been attracting considerable attention in recent years. Despite significant progress, most of the previous multi-view subspace clustering algorithms are still faced with two limitations. First, they usually focus on the consistency (or commonness) of multiple views, yet often lack the ability to capture the cross-view inconsistencies in subspace representations. Second, many of them overlook the local structures of multiple views and cannot jointly leverage multiple local structures to enhance the subspace representation learning. To address these two limitations, in this paper, we propose a jointly smoothed multi-view subspace clustering (JSMC) approach. Specifically, we simultaneously incorporate the cross-view commonness and inconsistencies into the subspace representation learning. The view-consensus grouping effect is presented to jointly exploit the local structures of multiple views to regularize the view-commonness representation, which is further associated with the low-rank constraint via the nuclear norm to strengthen its cluster structure. Thus the cross-view commonness and inconsistencies, the view-consensus grouping effect, and the low-rank representation are seamlessly incorporated into a unified objective function, upon which an alternating optimization algorithm is performed to achieve a robust subspace representation for clustering. Experimental results on a variety of real-world multi-view datasets confirm the superiority of our approach. Code available: https://github.com/huangdonghere/JSMC.

연구 동기 및 목표

• 기존의 다중 뷰 부분공간 군집화 방법이 뷰 일관성에 중점을 두며 교차 뷰 이질성은 간과하는 한계를 해결하기 위해.
• 모든 뷰의 국소 구조를 공동으로 활용하여 뷰-공동 그룹화 효과를 통해 부분공간 표현 학습을 향상시키기 위해.
• 공통 표현에 핵심 노름 정규화를 통한 저질서 제약을 통합하여 군집 간 밀도를 향상시켜 군집 간 강인성을 향상시키기 위해.
• 교차 뷰 공통성, 이질성, 국소 구조 모델링, 저질서 표현을 하나의 최적화 목표에 통합하기 위해.
• 안정성과 수렴성을 보장하면서 공동 목표를 효율적으로 해결하는 교차 최적화 알고리즘을 개발하기 위해.

제안 방법

• 각 뷰의 부분공간 표현을 뷰-공통성 행렬과 뷰-이질성 행렬로 분해하여, 다양한 뷰 간의 공통 구조와 차별화된 구조를 명시적으로 모델링한다.
• 모든 뷰의 국소 구조를 활용하여 공통 표현을 공동으로 정규화하는 뷰-공동 그룹화 효과를 도입하여 강인성과 일관성을 향상시킨다.
• 공통성 표현은 추가로 핵심 노름 최소화를 통해 저질서 구조를 강제로 부여하고 군집의 밀도를 향상시킨다.
• 자기표현 손실, 이질성 모델링, 부드러운 정규화, 저질서 제약을 통합한 유일한 목표 함수를 구성하여 엔드 투 엔드 최적화를 수행한다.
• 공통성 행렬, 이질성 행렬, 기타 변수를 순차적으로 갱신하는 교차 최적화 알고리즘을 적용하여 수렴성과 안정성을 확보한다.
• 확장성과 확장 가능성을 고려하여 설계되었으며, 이중 그래프 또는 앙상블 군집 설정으로의 확장이 가능하다.

실험 결과

연구 질문

• RQ1 교차 뷰 공통성과 이질성을 공동으로 모델링하는 것이 다중 뷰 부분공간 군집화 성능 향상에 기여하는가?
• RQ2 모든 뷰의 국소 구조를 활용하는 뷰-공동 그룹화 효과를 통합함으로써 표현 학습이 어떻게 향상되는가?
• RQ3 핵심 노름을 통한 저질서 정규화가 다중 뷰 표현의 군집 구조에 어느 정도 향상되는가?
• RQ4 각 구성 요소(이질성, 부드러움, 저질서)가 전체 군집화 성능에 기여하는 비율은 어떻게 되는가?
• RQ5 제안된 방법이 다양한 실세계 데이터셋에서 최신 기술 수준의 다중 뷰 부분공간 군집화 접근법을 초월할 수 있는가?

주요 결과

• JSMC는 모든 기준 데이터셋에서 평균 군집 정확도(61.54%)와 정규화 상호정보량(55.05%)에서 최고 성능을 기록하며 기존 방법들을 압도한다.
• 제거 실험 결과, 공통성, 부드러움, 저질서 중 어떤 구성 요소라도 제거할 경우 성능이 크게 떨어지며, 이는 핵심적인 역할을 한다는 것을 확인한다.
• COIL-20 데이터셋에서 JSMC는 83.96%의 정확도와 88.68%의 순도를 기록하여 다음으로 좋은 방법보다 5퍼센트 이상 높게 성능을 내었다.
• 제거 실험 분석 결과, 뷰-공동 그룹화 효과가 상당한 기여를 하며, 이를 제거할 경우 정확도가 65.17%로 떨어지는 것으로 확인되었다.
• Reuters 데이터셋에서 JSMC는 46.75%의 정확도와 48.58%의 순도를 기록하여 기준 방법보다 뚜렷하게 높은 성능을 보이며, 텍스트 중심의 다중 뷰 데이터에서 강력한 성능을 입증했다.
• 이 방법은 이미지, 텍스트, 하이브리드 다중 뷰 데이터셋을 포함한 다양한 데이터 유형에서 높은 성능를 유지하며 일반화 능력과 강인성을 입증했다.