[논문 리뷰] Variational Autoencoder with Truncated Mixture of Gaussians for Functional Connectivity Analysis

Qingyu Zhao, Nicolas Honnorat외 2명|arXiv (Cornell University)|2019. 02. 11.

Functional Brain Connectivity Studies인용 수 3

한 줄 요약

이 논문은 주요 기능적 연결성 클러스터를 위한 잘라낸 가우시안 혼합 모델과 외곽선을 모델링하기 위한 균일 분포를 결합한 변분 오토인코더인 tGM-VAE를 제안한다. 이는 노이즈가 많은 rs-fMRI 데이터에서 동시 클러스터링과 이방성 탐지가 가능하게 하며, 관련이 없는 소규모 클러스터와 노이즈를 배제함으로써 클러스터링의 강건성을 향상시킨다. 성능은 MNIST 및 rs-fMRI 데이터셋에서 검증되었다.

ABSTRACT

Variation Autoencoder (VAE) has become a powerful tool in modeling the non-linear generative process of data from a low-dimensional latent space. Recently, several studies have proposed to use VAE for unsupervised clustering by using mixture models to capture the multi-modal structure of latent representations. This strategy, however, is ineffective when there are outlier data samples whose latent representations are meaningless, yet contaminating the estimation of key major clusters in the latent space. This exact problem arises in the context of resting-state fMRI (rs-fMRI) analysis, where clustering major functional connectivity patterns is often hindered by heavy noise of rs-fMRI and many minor clusters (rare connectivity patterns) of no interest to analysis. In this paper we propose a novel generative process, in which we use a Gaussian-mixture to model a few major clusters in the data, and use a non-informative uniform distribution to capture the remaining data. We embed this truncated Gaussian-Mixture model in a Variational AutoEncoder framework to obtain a general joint clustering and outlier detection approach, called tGM-VAE. We demonstrated the applicability of tGM-VAE on the MNIST dataset and further validated it in the context of rs-fMRI connectivity analysis.

연구 동기 및 목표

• 기능적 연결성 분석을 위한 VAE 기반 클러스터링에서 노이즈가 많고 외곽선에 오염된 잠재 표현의 문제를 해결하기 위해.
• 주요 기능적 연결성 패턴을 소규모이고 관련이 없는 클러스터 및 노이즈로부터 구분함으로써 rs-fMRI에서의 클러스터링 성능을 향상시키기 위해.
• 잘라낸 혼합 모델을 사용하여 동시에 클러스터링과 이방성 탐지를 수행하는 통합 프레임워크를 개발하기 위해.
• 잠재 공간을 모델링함으로써 주요 클러스터는 가우시안 혼합으로 포착하고, 이방성과 소규모 클러스터는 균일한 노이즈로 모델링하기 위해.
• 합성 데이터(MNIST)와 실제 신경영상 데이터(rs-fMRI) 양측에서 방법의 강건성과 적용 가능성을 검증하기 위해.

제안 방법

• 제안된 방법은 잠재 공간을 모델링하기 위해 변분 오토인코더(VAE) 프레임워크 내에 잘라낸 가우시안 혼합(tGM) 모델을 통합한다.
• tGM 모델은 주요 클러스터를 위한 유한한 가우시안 혼합과 외곽선 및 소규모 클러스터를 나타내는 균일 분포로 구성된다.
• VAE는 암시적 추론을 통해 잠재 공간의 사후 분포를 학습하며, 가능도는 가우시안 혼합과 균일 성분의 혼합으로 모델링된다.
• 모델은 변분 추론을 통해 엔드 투 엔드로 훈련되며, 주요 클러스터와 외곽선을 모두 고려한 마진 가능도의 하한을 최적화한다.
• 외곽선 탐지는 가우시안 혼합 모델 하에서의 사후 확률이 낮을 경우 샘플을 균일 성분에 할당함으로써 달성된다.
• 이 방법은 클러스터의 구조 학습과 비정보성 샘플 식별을 동시에 수행할 수 있으며, 클러스터 수에 대한 사전 지식이 필요하지 않다.

실험 결과

연구 질문

• RQ1 VAE 프레임워크 내의 잘라낸 가우시안 혼합 모델이 rs-fMRI 데이터에서 주요 기능적 연결성 패턴을 노이즈와 소규모 클러스터로부터 효과적으로 분리할 수 있는가?
• RQ2 외곽선을 위한 균일 성분을 포함함으로써, 전체 가우시안 혼합 모델을 사용하는 표준 VAE에 비해 클러스터링 성능은 어떻게 향상되는가?
• RQ3 tGM-VAE는 MNIST 및 rs-fMRI 데이터셋 양측에서 기준 클러스터링 및 이방성 탐지 방법에 비해 어느 정도 뛰어난 성능을 보이는가?
• RQ4 진짜 클러스터 수가 알려져 있지 않거나 소규모 클러스터가 데이터를 지배할 경우 모델은 강건성을 유지하는가?
• RQ5 신경영상 응용 분야에서 생물학적으로 타당하지 않은 연결성 패턴을 이방성으로 식별할 수 있는가?

주요 결과

• tGM-VAE는 rs-fMRI 데이터에서 주요 기능적 연결성 패턴을 성공적으로 식별하고, 노이즈 및 소규모 클러스터를 이방성으로 모델링한다.
• 이 방법은 잠재 공간 내에서 관련이 없는 소규모 클러스터와 노이즈 샘플의 오염을 줄임으로써 클러스터링 정확도를 향상시킨다.
• MNIST 데이터셋에서 tGM-VAE는 경쟁적인 클러스터링 성능를 달성하면서도 높은 정밀도로 이방성 숫자를 탐지한다.
• rs-fMRI 분석에서 tGM-VAE는 알려진 기능 네트워크를 임의의 또는 노이즈가 많은 연결성 패턴에서 효과적으로 분리한다.
• 균일 성분의 포함은 특히 고노이즈 조건에서 표준 VAE에 비해 강건성을 크게 향상시킨다.
• 모델은 실제 신경영상 데이터에 대해 강력한 일반화 능력을 보이며, 생물학적으로 의미 있는 연결성 패턴을 신뢰성 있게 식별할 수 있다.