[논문 리뷰] Generative Partial Multi-View Clustering

Qianqian Wang, Zhengming Ding외 3명|arXiv (Cornell University)|2020. 03. 29.

Video Surveillance and Tracking Methods참고 문헌 46인용 수 13

한 줄 요약

이 논문은 부분 다중뷰 클러스터링을 위한 생성형 프레임워크인 GP-MVC를 제안한다. 이는 뷰별 GAN을 활용해 공유 표현을 동시에 학습하고 누락된 뷰를 생성함으로써 불완전한 다중뷰 데이터에서 효과적인 클러스터링을 가능하게 한다. 이 방법은 적응형 융합과 적대적 훈련을 활용하여 여러 벤치마크, 특히 MNIST와 같은 대규모 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Nowadays, with the rapid development of data collection sources and feature extraction methods, multi-view data are getting easy to obtain and have received increasing research attention in recent years, among which, multi-view clustering (MVC) forms a mainstream research direction and is widely used in data analysis. However, existing MVC methods mainly assume that each sample appears in all the views, without considering the incomplete view case due to data corruption, sensor failure, equipment malfunction, etc. In this study, we design and build a generative partial multi-view clustering model, named as GP-MVC, to address the incomplete multi-view problem by explicitly generating the data of missing views. The main idea of GP-MVC lies at two-fold. First, multi-view encoder networks are trained to learn common low-dimensional representations, followed by a clustering layer to capture the consistent cluster structure across multiple views. Second, view-specific generative adversarial networks are developed to generate the missing data of one view conditioning on the shared representation given by other views. These two steps could be promoted mutually, where learning common representations facilitates data imputation and the generated data could further explores the view consistency. Moreover, an weighted adaptive fusion scheme is implemented to exploit the complementary information among different views. Experimental results on four benchmark datasets are provided to show the effectiveness of the proposed GP-MVC over the state-of-the-art methods.

연구 동기 및 목표

• 센서 장애, 데이터 손상 또는 장비 고장로 인해 일부 뷰가 누락되는 불완전한 다중뷰 클러스터링 문제를 해결한다.
• 0 또는 평균 값으로의 보간에 의존하는 기존 PMVC 방법의 한계를 극복하여 클러스터링 성능 저하를 방지한다.
• 공유 저차원 표현을 동시에 학습하고 GAN을 활용해 현실적인 누락 뷰를 생성하는 통합 프레임워크를 개발한다.
• NMF나 커널 기반 PMVC 방법에서 흔한 행렬 역행렬 계산을 피함으로써 대규모 데이터셋에서 효과적인 클러스터링을 가능하게 한다.
• 다양한 뷰 간의 상보적 정보를 가중치 기반 적응형 융합 메커니즘을 통해 활용하여 클러스터링 성능을 향상시킨다.

제안 방법

• 가용 뷰로부터 공유 저차원 표현을 학습하기 위해 다중뷰 오토인코더를 활용하여 일관된 클러스터 구조를 포착한다.
• 공유 표현을 다른 뷰로부터 조건으로 삼아 누락된 뷰 데이터를 생성하는 뷰별 생성적 적대적 네트워크(GAN)를 도입한다.
• 생성된 데이터가 실제 데이터와 구분되지 않도록 보장하기 위해 적대적 훈련 손실을 사용하여 표현 품질을 향상시킨다.
• 신뢰성과 클러스터링에 기여도가 높은 뷰 기반으로 특징을 동적으로 융합하는 가중치 기반 적응형 융합 레이어를 구현한다.
• 공유 표현이 사전 정의된 클러스터 분포와 일치하도록 유도하기 위해 KL 발산 기반의 클러스터링 손실을 통합한다.
• 오토인코더, 적대적, 융합, 클러스터링 손실를 조합한 복합 손실 함수를 사용해 전체 모델을 엔드 투 엔드로 최적화한다.

실험 결과

연구 질문

• RQ1 0 또는 평균 값으로의 보간에 의존하지 않고도 생성 모델이 다중뷰 클러스터링에서 누락된 뷰를 효과적으로 재구성할 수 있는가?
• RQ2 공유 표현 학습과 뷰 생성을 동시에 수행함으로써 불완전한 다중뷰 데이터에서 클러스터링 성능가 향상되는가?
• RQ3 제안된 가중치 기반 적응형 융합 메커니즘이 뷰 간 상보적 정보를 활용해 클러스터링 성능를 얼마나 향상시키는가?
• RQ4 기존 방법이 메모리 제약으로 실패하는 상황에서, 제안된 방법은 MNIST와 같은 대규모 데이터셋(예: 전체 60,000개 샘플)에 대해 확장 가능한가?
• RQ5 손실 함수의 개별 구성 요소(예: 오토인코더, 적대적, 클러스터링)가 최종 클러스터링 성능에 기여하는 정도는 어떠한가?

주요 결과

• GP-MVC는 네 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA)의 클러스터링 정확도를 달성했으며, HW 데이터셋에서 0.9의 누락 비율일 때 기준선 대비 최대 5.8% 향상된 성능을 기록했다.
• 제거 실험 결과, 모든 손실 구성 요소(AE, AT, FU, KL)를 조합할 경우 가장 높은 클러스터링 정확도를 확보했으며, HW 데이터셋에서 0.9의 누락 비율일 때 정확도가 0.9508에 도달했다.
• 모델은 시각적으로 확인된 lin 5에서 현실적인 누락 뷰 샘플을 성공적으로 생성했으며, 더 많은 쌍 데이터가 확보될수록 생성 품질이 향상됨을 확인했다.
• GP-MVC는 유일하게 0.9의 높은 누락 비율에서도 전체 60,000개 샘플의 MNIST 데이터셋을 클러스터링할 수 있었으며, 다른 방법들은 메모리 제약으로 실패했다.
• 적대적 훈련과 적응형 융합의 포함이 성능 향상에 크게 기여했으며, 0.9의 누락 비율에서 정확도가 AE + AT 조합의 0.7165에서 모든 손실을 통합한 경우 0.9508로 상승했다.
• 모델는 다양한 누락 비율에서도 뛰어난 안정성과 일반화 능력을 보였으며, 극단적인 누락 비율(0.9)에서도 일관된 성능 향상이 관찰되어 강력한 일반화 능력을 입증했다.