[논문 리뷰] Incomplete Contrastive Multi-View Clustering with High-Confidence Guiding

Guoqing Chao, Yi Jiang외 1명|arXiv (Cornell University)|2023. 12. 14.

Advanced Computing and Algorithms인용 수 6

한 줄 요약

이 논문은 ICMVC를 제안하며, 결측 데이터 처리, 인스턴스 수준의 주의 메커니즘과 대비 학습을 통한 상보적이고 일致된 표현 학습, 그리고 고신뢰도 가이딩을 통한 클러스터링을 공동으로 처리하는 엔드 투 엔드의 불완전한 대비 다중뷰 클러스터링 방법이다. GCN 기반의 보정 및 공동 최적화를 통해 통합된 프레임워크를 통해 뷰별 및 공유 정보를 효과적으로 활용함으로써 다섯 개의 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

Incomplete multi-view clustering becomes an important research problem, since multi-view data with missing values are ubiquitous in real-world applications. Although great efforts have been made for incomplete multi-view clustering, there are still some challenges: 1) most existing methods didn't make full use of multi-view information to deal with missing values; 2) most methods just employ the consistent information within multi-view data but ignore the complementary information; 3) For the existing incomplete multi-view clustering methods, incomplete multi-view representation learning and clustering are treated as independent processes, which leads to performance gap. In this work, we proposed a novel Incomplete Contrastive Multi-View Clustering method with high-confidence guiding (ICMVC). Firstly, we proposed a multi-view consistency relation transfer plus graph convolutional network to tackle missing values problem. Secondly, instance-level attention fusion and high-confidence guiding are proposed to exploit the complementary information while instance-level contrastive learning for latent representation is designed to employ the consistent information. Thirdly, an end-to-end framework is proposed to integrate multi-view missing values handling, multi-view representation learning and clustering assignment for joint optimization. Experiments compared with state-of-the-art approaches demonstrated the effectiveness and superiority of our method. Our code is publicly available at https://github.com/liunian-Jay/ICMVC.

연구 동기 및 목표

• 실제 세계의 데이터에서 뷰 간에 결측값이 존재하는 불완전한 다중뷰 클러스터링 문제를 해결한다.
• 기존 방법들이 상보적 정보를 충분히 활용하지 못하거나 결측 데이터 처리와 클러스터링을 별개의 과정으로 다루는 한계를 극복한다.
• 결측 데이터 보정, 표현 학습, 클러스터링 할당을 공동으로 최적화하는 통합 프레임워크를 개발한다.
• 뷰 간의 일致성과 상보적 정보를 활용하여 클러스터링 성능을 향상시킨다.

제안 방법

• 완전한 뷰로부터의 구조적 정보를 활용하여 반복적으로 결측 특징을 추론하고 재구성하기 위해 그래프 컬러이션 네트워크(GCN) 기반의 다중뷰 일致성 관계 전이를 제안한다.
• 뷰별 표현을 동적으로 가중하는 인스턴스 수준의 주의 융합 모듈을 설계하여 상보적 정보 활용을 향상시킨다.
• 잠재 공간에서 뷰 간 일관된 구조적 패턴을 유지하기 위해 인스턴스 수준의 대비 학습을 도입한다.
• 가중치 공유 허위 분류기와 타겟 분포를 사용한 고신뢰도 가이딩 메커니즘을 도입하여 클러스터링 할당을 정밀하게 개선한다.
• 결측 데이터 처리, 표현 학습, 클러스터링을 하나의 엔드 투 엔드 프레임워크로 통합하고 공동 최적화를 수행한다.
• 유사도 기반 및 KNN 기반 그래프 구축을 사용하여 인접 행렬을 형성하며, 최적 성능을 위해 K를 조정한다.

실험 결과

연구 질문

• RQ1 결측값이 존재하는 다중뷰 데이터를 일치성과 상보성 정보를 유지하면서 효과적으로 재구성할 수 있는가?
• RQ2 결측 데이터 보정, 표현 학습, 클러스터링을 공동 최적화하는 것이 순차적 또는 독립적 처리에 비해 클러스터링 성능을 향상시키는가?
• RQ3 인스턴스 수준의 주의와 대비 학습은 불완전한 다중뷰 클러스터링에서 표현 품질을 어떻게 향상시키는가?
• RQ4 고신뢰도 가이딩은 결측 데이터 존재 조건에서 클러스터링의 안정성과 정확도를 어느 정도 향상시키는가?
• RQ5 제안된 방법은 다양한 결측 비율과 그래프 구축에서의 K 값에 대해 얼마나 강인한가?

주요 결과

• ICMVC는 다섯 개의 벤치마크 데이터셋에서 최신 기술을 뛰어넘는 성능을 기록하며, ACC, NMI, ARI 지표에서 일관되게 뛰어난 성능을 보였다.
• 모델는 더 명확한 블록 구조를 가진 유사도 행렬을 보이며, 더 나은 클러스터 분리도를 나타내어 뛰어난 클러스터링 품질을 입증했다.
• 시각화 결과에서 ICMVC는 단일 뷰에서 겹치는 클러스터와 같은 모호한 샘플을 상보적 정보 융합을 통해 효과적으로 해결함을 보였다.
• MSRC-V1에서 합리적인 범위(1–30) 내에서 K 값에 대해 안정된 성능을 보이며, 다양한 K 설정에서도 유사한 성능을 유지함을 확인했다.
• 수렴 분석 결과 손실가 점진적으로 감소하고 약 100 에포크 후 ACC, NMI, ARI 지표가 수렴하는 것으로 나타나 안정적인 학습을 확인했다.
• 민감도 분석 결과 K 값이 너무 작거나 너무 클 경우 성능이 크게 떨어지며, 적절한 K 선택의 중요성을 확인했다.