[논문 리뷰] Interpretable VAEs for nonlinear group factor analysis

Samuel Ainsworth, Nicholas J. Foti외 2명|arXiv (Cornell University)|2018. 02. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 9

한 줄 요약

이 논문은 고차원 데이터 내 비선형적이고 그룹화된 구조를 가지는 관계를 모델링하기 위해 그룹별 독립적 생성기와 잠재변수에서 관측변수로의 사전 분포에 대한 희소성 유도 기반의 VAE(oi-VAE)를 제안한다. 이 방법은 신경과학적으로 의미 있는 뇌 네트워크를 해석 가능하게 발견하고, 데이터가 적은 환경에서의 일반화 성능을 향상시킨다. HCP-MMP1 분할 기반의 운동 캡처 및 MEG 데이터셋을 통해 검증되었다.

ABSTRACT

Deep generative models have recently yielded encouraging results in producing subjectively realistic samples of complex data. Far less attention has been paid to making these generative models interpretable. In many scenarios, ranging from scientific applications to finance, the observed variables have a natural grouping. It is often of interest to understand systems of interaction amongst these groups, and latent factor models (LFMs) are an attractive approach. However, traditional LFMs are limited by assuming a linear correlation structure. We present an output interpretable VAE (oi-VAE) for grouped data that models complex, nonlinear latent-to-observed relationships. We combine a structured VAE comprised of group-specific generators with a sparsity-inducing prior. We demonstrate that oi-VAE yields meaningful notions of interpretability in the analysis of motion capture and MEG data. We further show that in these situations, the regularization inherent to oi-VAE can actually lead to improved generalization and learned generative processes.

연구 동기 및 목표

• 뇌영상 및 운동 캡처와 같은 그룹화된 고차원 데이터에 대해 딥 생성 모델의 해석 가능성 부족 문제를 해결하기 위해.
• 잠재 요인과 그룹화된 관측 변수 간의 복잡한 비선형 상호작용을 유지하면서도 해석 가능성을 확보하기 위해.
• 희소성 유도 사전 분포에 내재된 정규화를 통해 데이터가 적은 환경에서의 일반화 성능을 향상시키기 위해.
• 구조화된 데이터에서 뇌 네트워크와 같은 생리학적으로 의미 있는 상호작용 체계를 발견하기 위해.
• 압축된 변동형 추론과 복합 변동형 목표를 활용하여 대규모 데이터셋에 대한 딥 생성 모델링을 스케일링하기 위해.

제안 방법

• 공통 잠재 변수에서 그룹화된 관측치로의 비선형 사전 맵핑을 모델링하기 위해 그룹별 독립 생성기 네트워크를 갖는 구조화된 VAE를 수립한다.
• 각 잠재 차원이 오직 소수의 그룹에만 영향을 주도록 유도하는 계층적 희소성 유도 사전을 적용한다.
• 학습 효율성을 향상시키고 희소한 잠재-그룹 상호작용 학습을 가능하게 하기 위해 압축된 변동형 추론 목표를 사용한다.
• 관측치를 직접적으로 잠재 사후 분포로 매핑하는 추론 네트워크를 통해 압축 추론을 구현한다.
• 그룹 가중치 행렬의 희소성 강제를 위한 프록시멀 업데이트 규칙을 도입하여, 더 해석 가능하고 분리된 잠재 성분을 확보한다.
• 확률적 경사 하강법과 몬테카를로 변동형 추론을 활용하여 스트로스틱 경사 하강법을 통해 대규모 데이터셋에 대한 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 구조화되고 그룹별 독립 생성기를 갖는 딥 생성 모델이 그룹화된 데이터 내 비선형 관계를 해석 가능한 표현으로 생성할 수 있는가?
• RQ2 잠재-관측 맵핑에 대한 희소성 강제가 알려진 뇌 네트워크와 같은 생리학적으로 의미 있는 그룹 상호작용을 이끌어내는가?
• RQ3 희소성에 기반한 정규화가 특히 데이터가 적거나 고차원적인 환경에서 일반화 성능 향상에 기여하는가?
• RQ4 압축된 변동형 목표와 프록시멀 업데이트는 기존 VAE에 비해 학습 효율성과 희소성 학습에 어떤 영향을 미치는가?
• RQ5 oi-VAE는 MEG 데이터로부터 알려진 기능적 뇌 네트워크, 예를 들어 후경각망 또는 기본 상태 네트워크를 어느 정도 효과적으로 발견할 수 있는가?

주요 결과

• 학습된 잠재 공간의 성분 6은 후경각망과 관련이 있으며, 열린 편측 소수와 오른쪽 편측두엽-편측연합부와 같은 영역을 포함한다. 이는 신경과학 문헌에 의해 검증되었다.
• 성분 15는 주로 내측 전두엽 피질과 후부cingulate 피질을 포함하는 기본 상태 네트워크와 일치하며, 생리학적 관련성을 확인한다.
• 희소성 유도 사전 분포에 기반한 정규화 덕분에 oi-VAE 모델은 특히 데이터가 적은 환경에서 일반화 성능과 생성 성능이 향상되었다.
• 각 잠재 성분이 뇌 영역의 희소한 부분집합에만 영향을 주는 것으로 나타났으며, 이는 그룹별 가중치 행렬의 L2 노름을 통해 확인되었고, 효과적인 분리성 분석이 가능했다.
• 단일 피험자로부터 약 41,000개의 MEG 관측치에 대해 효율적으로 스케일링되었으며, 이는 대규모 뇌 영상 데이터셋에 대한 적용 가능성과 타당성을 입증한다.
• 프록시멀 업데이트 전략은 실제로 잠재-그룹 맵핑의 희소성을 성공적으로 유도하여 특정 뇌 영역에 대한 해석 가능한 기여도 분석이 가능하게 하였다.