[논문 리뷰] On the Effects of Self-supervision and Contrastive Alignment in Deep Multi-view Clustering

Daniel J. Trosten, Sigurd Løkse외 2명|arXiv (Cornell University)|2023. 03. 17.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 최근의 방법들을 통합하고 자기지도 학습 및 대비 정렬의 체계적 분석을 가능하게 하는 딥 다중뷰 클러스터링을 위한 통합 프레임워크인 DeepMVC를 소개한다. 이는 이론적으로도 실험적으로도 대비 정렬이 클러스터 분리도를 해칠 수 있음을 입증하며, 특히 뷰의 수가 많아질수록 악영향이 커진다. 또한 기존 방법들을 능가하는 여섯 가지 새로운 DeepMVC 인스턴스를 제안하며, 고뷰 데이터셋에서 특히 뛰어난 성능을 보인다.

ABSTRACT

Self-supervised learning is a central component in recent approaches to deep multi-view clustering (MVC). However, we find large variations in the development of self-supervision-based methods for deep MVC, potentially slowing the progress of the field. To address this, we present DeepMVC, a unified framework for deep MVC that includes many recent methods as instances. We leverage our framework to make key observations about the effect of self-supervision, and in particular, drawbacks of aligning representations with contrastive learning. Further, we prove that contrastive alignment can negatively influence cluster separability, and that this effect becomes worse when the number of views increases. Motivated by our findings, we develop several new DeepMVC instances with new forms of self-supervision. We conduct extensive experiments and find that (i) in line with our theoretical findings, contrastive alignments decreases performance on datasets with many views; (ii) all methods benefit from some form of self-supervision; and (iii) our new instances outperform previous methods on several datasets. Based on our results, we suggest several promising directions for future research. To enhance the openness of the field, we provide an open-source implementation of DeepMVC, including recent models and our new instances. Our implementation includes a consistent evaluation protocol, facilitating fair and accurate evaluation of methods and components.

연구 동기 및 목표

• 다양한 구현 방식, 평가 프로토콜, 하이퍼파라미터 설정으로 인해 발생하는 딥 다중뷰 클러스터링(MVC) 연구의 일관성 부족과 재현 가능성 문제를 해결하기 위해.
• 뷰의 수가 증가함에 따라 클러스터 분리도에 악영향을 미치는 대비 정렬의 부정적 영향을 규명하고 분석하기 위해.
• 기존 MVC 방법들을 일반화하고 구성 요소 및 모델의 공정하고 일관된 평가를 가능하게 하는 통합 프레임워크(DeepMVC)를 개발하기 위해.
• 기존 최고 성능 모델들을 능가하는 개선된 자기지도 학습 전략을 적용한 새로운 MVC 인스턴스를 제안하여 다수의 데이터셋에서 뛰어난 성능을 내기 위해.
• 표준화된 평가 프로토콜과 함께 오픈소스 구현을 제공하여 재현 가능성 향상과 분야 내 발전을 촉진하기 위해.

제안 방법

• 다섯 가지 핵심 구성 요소(뷰별 인코더, 단일뷰 자기지도 학습(SV-SSL), 다중뷰 자기지도 학습(MV-SSL), 특징 융합, 클러스터링)를 갖춘 모듈식 프레임워크로 DeepMVC를 설계하기.
• 기존 MVC 방법들을 프레임워크의 구조에 해당하는 구성 요소로 매핑하여 DeepMVC의 인스턴스로 통합하기.
• 이론적으로 대비 정렬이 표현 공간 내 분리 가능한 클러스터의 수를 줄일 수 있으며, 뷰의 수가 증가할수록 이 부정적 영향이 악화됨을 증명하기.
• 다양한 자기지도 학습 기법(대비 학습, 상호정보량 최대화, 오토에코딩, 엔트로피 정규화)을 활용해 여섯 가지 새로운 DeepMVC 인스턴스 개발하기.
• 모든 모델과 데이터셋 간에 일관된 평가 프로토콜 적용하기(예: 표준화된 데이터 분할, 하이퍼파라미터 탐색, 메트릭(예: NMI) 사용).
• 하이퍼파라미터 스윕을 통해 내성성 평가 및 민감한 설정(예: 높은 대비 손실 가중치, 낮은 엔트로피 정규화) 식별하기.

실험 결과

연구 질문

• RQ1 뷰의 수가 증가할수록 대비 정렬은 딥 다중뷰 클러스터링에서 클러스터 분리도에 어떤 영향을 미치는가?
• RQ2 다양한 수의 뷰를 가진 데이터셋에서 어떤 자기지도 학습 방식이 가장 효과적인가?
• RQ3 통합 프레임워크는 딥 MVC 연구의 재현 가능성과 공정한 비교를 향상시킬 수 있는가?
• RQ4 대체 자기지도 학습 메커니즘을 적용한 새로운 DeepMVC 인스턴스는 기존 최고 수준의 방법들을 능가하는가?
• RQ5 특히 대비 손실 가중치와 엔트로피 정규화에 대해 제안된 모델은 하이퍼파라미터 설정에 얼마나 민감한가?

주요 결과

• 대비 정렬은 뷰가 많은 데이터셋(예: Caltech7)에서 클러스터링 성능을 심각하게 떨어뜨린다. 대비 손실 가중치를 10.0으로 높이자 성능이 0.09 NMI로 급격히 하락한다.
• 상호정보량 최대화는 고뷰 데이터셋에서 대비 정렬을 능가하며, 엔트로피 정규화를 적절히 조정하면 NoisyMNIST에서 InfoDDC가 0.84 NMI를 기록한다.
• 평가된 모든 방법이 적어도 한 가지 자기지도 학습 방식의 이점을 얻으며, 최적의 복원 가중치 설정에서 AECoDDC는 NoisyMNIST에서 0.99 NMI, Caltech7에서는 0.49 NMI를 달성한다.
• 새로운 DeepMVC 인스턴스는 대부분 하이퍼파라미터 변화에 대해 강건하지만, 대비 손실 가중치가 너무 높을 경우(예: AECoDDC는 Caltech7에서 0.19 NMI로 급락) 또는 엔트로피 정규화가 너무 낮을 경우(예: InfoDDC는 0.94에서 0.21 NMI로 급락)에는 성능 저하가 발생한다.
• 프레임워크를 통해 공정한 비교가 가능해졌으며, MvSCN과 Multi-VAE는 새로운 구현에서 성능 차이를 보였고, 이는 이전 결과가 전처리 및 평가 방식의 차이로 영향을 받았을 가능성을 시사한다.
• 표준화된 평가 프로토콜을 갖춘 오픈소스 DeepMVC 구현은 재현 가능성을 높이고, 일관되고 정확한 벤치마킹을 통해 메서드 개발을 가속화한다.