[논문 리뷰] Shared Generative Latent Representation Learning for Multi-view Clustering

Ming Yin, Weitian Huang외 1명|arXiv (Cornell University)|2019. 07. 23.

Video Surveillance and Tracking Methods참고 문헌 39인용 수 5

한 줄 요약

이 논문은 다중 시각 데이터의 공통 생성 잠재 표현을 변동형 자동에코더(VAE)와 혼합 정규분포 사전분포를 사용하여 학습하는 DMVCVAE라는 딥 다중 시각 클러스터링 방법을 제안한다. 시각별 자동에코더, 비음수 융합 가중치, 공통 잠재 공간을 동시에 최적화함으로써, 소규모 및 대규모 다중 시각 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며, 기존의 딥 및 얕은 클러스터링 방법보다 정확도, NMI, ARI에서 뚜렷이 뛰어나다.

ABSTRACT

Clustering multi-view data has been a fundamental research topic in the computer vision community. It has been shown that a better accuracy can be achieved by integrating information of all the views than just using one view individually. However, the existing methods often struggle with the issues of dealing with the large-scale datasets and the poor performance in reconstructing samples. This paper proposes a novel multi-view clustering method by learning a shared generative latent representation that obeys a mixture of Gaussian distributions. The motivation is based on the fact that the multi-view data share a common latent embedding despite the diversity among the views. Specifically, benefited from the success of the deep generative learning, the proposed model not only can extract the nonlinear features from the views, but render a powerful ability in capturing the correlations among all the views. The extensive experimental results, on several datasets with different scales, demonstrate that the proposed method outperforms the state-of-the-art methods under a range of performance criteria.

연구 동기 및 목표

• 대규모 데이터 처리 및 낮은 샘플 재구성 성능의 문제점을 해결하기 위해 기존 다중 시각 클러스터링 방법의 한계를 보완하는 것.
• 다양한 시각 간의 공통 및 상보적 정보를 포괄하는 공통 잠재 공간을 학습하여 다중 시각 데이터의 생성 과정을 모델링하는 것.
• 통합 VAE 프레임워크 내에서 딥 자동에코더, 시각별 융합 가중치, 공통 잠재 분포를 동시에 최적화하여 클러스터링 성능을 향상시키는 것.
• 우수한 확장성과 재구성 능력을 갖춘 다중 시각 데이터에 대한 효과적인 표현 학습 및 클러스터링을 가능하게 하는 것.

제안 방법

• 모델은 다수의 시각 간 공통 잠재 표현을 학습하기 위해 변동형 자동에코더(VAE) 프레임워크를 활용하며, 모든 시각이 공통 잠재 변수에 조건부로 의존한다고 가정한다.
• 공통 잠재 공간의 사전분포로 혼합 정규분포(MoG) 분포를 사용하여, 복잡한 데이터 분포와 클러스터 구조를 포착할 수 있도록 한다.
• 비음수 융합 가중치를 도입하여 다양한 시각의 특징을 적응적으로 융합하며, 자동에코더와 함께 엔드 투 엔드로 학습하여 정보가 풍부한 시각을 강조한다.
• 모델은 변동형 추론을 통해 훈련되며, VAE 목표 아래 관측된 다중 시각 데이터의 로그우도에 대한 하한을 최소화한다.
• 최종 클러스터링 할당은 공통 잠재 변수의 사후분포에서 직접 유도되며, 엔드 투 엔드 클러스터링을 가능하게 한다.
• 모델은 소규모 및 대규모 데이터셋 모두를 지원하며, NUS-WIDE-Object에서의 확장성도 입증되었다.

실험 결과

연구 질문

• RQ1 다양한 이질적인 시각 간에 공통 생성 잠재 표현을 통해 클러스터링 성능 향상이 가능한가?
• RQ2 딥 자동에코더와 시각별 융합 가중치를 동시에 최적화하여 다중 시각 클러스터링에서 표현 학습을 어떻게 향상시킬 수 있는가?
• RQ3 혼합 정규분포를 통한 데이터 생성 과정 모델링이, 분류적 또는 비생성적 접근보다 더 나은 클러스터링 및 재구성 성능을 제공하는가?
• RQ4 기존 방법이 계산 복잡도로 인해 실패하는 대규모 다중 시각 데이터셋에 대해 제안된 방법은 효과적으로 확장 가능한가?

주요 결과

• UCI Digits, Caltech-7, ORL 데이터셋에서 DMVCVAE는 정확도 95.70%, NMI 91.66%, ARI 91.07%를 기록하여 모든 얕은 및 딥 기반 베이스라인을 능가했다.
• Caltech-7에서 제안된 방법은 정확도 80.14%, NMI 85.38%, ARI 70.48%를 달성했으며, DCCAE(84.62% 정확도)와 VCCAP(83.72% 정확도)를 뚜렷이 뛰어넘었다.
• 대규모 NUS-WIDE-Object 데이터셋에서 DMVCVAE는 정확도 19.09%, NMI 21.29%, 순수도 31.68%를 기록했으며, 모든 지표에서 LSMVSC 및 BMVC를 모두 초월했다.
• t-SNE 시각화 결과, 훈련 에포크 전반에 걸쳐 DMVCVAE가 학습한 잠재 공간은 DCCAE 및 VCCAP 대비 더 우수한 클러스터 분리도와 구조를 보였다.
• 절단 실험 결과, 융합 가중치와 공통 잠재 공간의 동시 학습이 클러스터링 성능 향상에 크게 기여함을 확인하여 모델 설계의 타당성을 입증했다.