[논문 리뷰] Multi-view Clustering via Deep Matrix Factorization and Partition Alignment

Chen Zhang, Siwei Wang외 6명|arXiv (Cornell University)|2021. 05. 01.

Face and Expression Recognition참고 문헌 37인용 수 5

한 줄 요약

이 논문은 다중 시각 클러스터링을 위한 새로운 방법인 MVC-DMF-PA를 제안한다. 이 방법은 딥 매트릭스 분해와 파artition 정렬을 결합하여 시각별 표현과 공통 클러스터링 파artition을 동시에 학습한다. 최적의 순열을 통한 딥 세미-NMF와 파artition 정렬을 번갈아 최적화함으로써, 여섯 개인 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며 빠른 수렴성과 하이퍼파ram터에 대한 강건성을 보인다.

ABSTRACT

Multi-view clustering (MVC) has been extensively studied to collect multiple source information in recent years. One typical type of MVC methods is based on matrix factorization to effectively perform dimension reduction and clustering. However, the existing approaches can be further improved with following considerations: i) The current one-layer matrix factorization framework cannot fully exploit the useful data representations. ii) Most algorithms only focus on the shared information while ignore the view-specific structure leading to suboptimal solutions. iii) The partition level information has not been utilized in existing work. To solve the above issues, we propose a novel multi-view clustering algorithm via deep matrix decomposition and partition alignment. To be specific, the partition representations of each view are obtained through deep matrix decomposition, and then are jointly utilized with the optimal partition representation for fusing multi-view information. Finally, an alternating optimization algorithm is developed to solve the optimization problem with proven convergence. The comprehensive experimental results conducted on six benchmark multi-view datasets clearly demonstrates the effectiveness of the proposed algorithm against the SOTA methods.

연구 동기 및 목표

• 기존의 다중 시각 클러스터링 방법의 한계, 특히 계층적 데이터 표현과 시각별 구조의 미흡한 활용을 해결하기 위해.
• 이전 연구에서 자주 간과되는 수준의 파artition 정보를 통합함으로써 융합 전략을 향상시키기 위해.
• 딥 매트릭스 분해와 공통 파artition 학습을 동시에 최적화하여 클러스터링 성능을 향상시키기 위해.

제안 방법

• 각 시각에 대해 딥 세미-NMF를 적용하여 계층적이고 저차원적인 기본 파artition 매트릭스를 학습함으로써, 시각별 및 공통 구조를 포착한다.
• 최적의 순열을 통한 클러스터 할당의 최적화를 통해 균일하게 가중된 기본 파artition 매트릭스와의 정렬을 최대화함으로써 공통 파artition 매트릭스를 학습한다.
• 수렴을 보장하기 위해 반복적으로 딥 매트릭스 분해와 공통 파artition를 개선하는 교대 최적화 알고리즘을 설계한다.
• 기본 파artition 학습과 공통 매트릭스 최적화를 하나의 종단 간(end-to-end) 학습 가능한 파이프라인으로 통합함으로써 후기 융합을 통합한다.
• 아웃라이어에 대한 강건성 향상과 국소 기하학적 구조 유지에 기여하기 위해 $L_{21}$ 노름과 다각형 정규화 항을 통합한다.
• 최적화 과정에서 시각별 가중치를 동적으로 조정함으로써 정보가 많은 시각에 더 큰 영향을 주어 클러스터링 정확도를 향상시킨다.

Figure 1: The illustration of our proposed MVC-DMF-PA. Multiple base partition matrix are obtained by deep semi-NMF firstly. Then a consensus partition matrix is learned by maximizing the alignment of this matrix with a uniformly weighted base partition matrix via optimal permutations. Finally, the

실험 결과

연구 질문

• RQ1 딥 매트릭스 분해는 다중 시각 데이터로부터 계층적이고 구분력 있는 표현을 효과적으로 추출할 수 있으며, 동시에 시각별 구조를 유지할 수 있는가?
• RQ2 다양한 시각 간 수준의 파artition 정렬은 전통적인 특성 수준 융합을 초월하여 공통 클러스터링을 어떻게 향상시킬 수 있는가?
• RQ3 교대 최적화를 통한 딥 분해와 후기 융합의 통합은 더 빠른 수렴성과 향상된 클러스터링 성능를 이끌어낼 수 있는가?
• RQ4 레이어 깊이와 은닉 차원의 하이퍼파ram터 변화에 대해 제안된 방법의 민감도는 어떠한가?
• RQ5 제안된 프레임워크는 다양한 벤치마크 다중 시각 데이터셋에서 최신 기술 수준의 방법들을 초월할 수 있는가?

주요 결과

• 제안된 MVC-DMF-PA는 여섯 개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 두 번째로 좋은 방법보다 ACC에서 최대 11.68%, NMI에서 15.55%, PUR에서 3.47% 향상되었다.
• 알고리즘은 빠르게 수렴하며, 모든 데이터셋에서 20회 이터레이션 내에 수렴하고 60회 이터레이션 후 안정화됨을 수렴 곡선을 통해 확인하였다.
• 절단 분석을 통해 세 층의 더 깊은 네트워크 깊이가 가장 우수한 성능를 보였으며, BBCSport 데이터셋에서 단일 층 모델 대비 ACC가 10.6% 향상되었다.
• 파라미터 민감도 분석 결과, $l_2 = 4k$와 변수 $l_1$에서 최적 성능를 기록하여 중간층 차원이 클러스터링 품질에 크게 영향을 준다는 것을 확인하였다.
• 공통 매트릭스 $\mathbf{H}$의 시각화 결과, 반복 과정을 거치며 클러스터링 구조의 명확성이 점진적으로 향상됨을 확인하였으며, 이는 일관된 파artition 학습의 효과를 입증한다.
• 하이퍼파ram터 변화에 대해 높은 강건성을 보이며, $l_1$과 $l_2$의 다양한 설정에서도 성능 저하가 최소한이었다.

Figure 2: The proposed algorithm use t-SNE [ 38 ] on BBC and BBCSport when iterations are 1, 10 and 60, The different colors indicate different classes for each dataset.