[논문 리뷰] Identifiability of deep generative models without auxiliary information

Bohdan Kivva, Goutham Rajendran외 2명|arXiv (Cornell University)|2022. 06. 20.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 보조 정보, 약한 지도 학습, 또는 잠재 공간 조건화 없이도 딥 생성 모델의 식별 가능성(identifiability)을 입증한다. 특히 혼합 사전 분포와 ReLU/leaky-ReLU 인코더를 갖는 변분 오토에인코더(Variational Autoencoders)에 대해 넓은 가정 하에 애매성 제거가 약간의 아핀 변환까지 가능하다고 증명한다. 이는 오랫동안 남아있던 열린 문제를 해결하며, 실제 데이터(MNIST 등)와 시뮬레이션 데이터 모두에서 안정적이고 재현 가능한 표현을 가능하게 한다.

ABSTRACT

We prove identifiability of a broad class of deep latent variable models that (a) have universal approximation capabilities and (b) are the decoders of variational autoencoders that are commonly used in practice. Unlike existing work, our analysis does not require weak supervision, auxiliary information, or conditioning in the latent space. Specifically, we show that for a broad class of generative (i.e. unsupervised) models with universal approximation capabilities, the side information $u$ is not necessary: We prove identifiability of the entire generative model where we do not observe $u$ and only observe the data $x$. The models we consider match autoencoder architectures used in practice that leverage mixture priors in the latent space and ReLU/leaky-ReLU activations in the encoder, such as VaDE and MFC-VAE. Our main result is an identifiability hierarchy that significantly generalizes previous work and exposes how different assumptions lead to different "strengths" of identifiability, and includes certain "vanilla" VAEs with isotropic Gaussian priors as a special case. For example, our weakest result establishes (unsupervised) identifiability up to an affine transformation, and thus partially resolves an open problem regarding model identifiability raised in prior work. These theoretical results are augmented with experiments on both simulated and real data.

연구 동기 및 목표

• 의료 및 금융과 같은 고위험 응용 분야에서 사용되는 딥 생성 모델의 모델 식별 가능성 문제를 해결하기 위해.
• 보조 변수나 약한 지도 학습 없이도 식별 가능성의 가능성을 판단하기 위해.
• VaDE 및 MFC-VAE와 같은 모델에서 관찰된 경험적 안정성에 대한 이론적 근거를 제공하기 위해.
• 다양한 가정 하에 식별 가능성의 강도를 계층화하고 이전 결과를 일반화하기 위해.

제안 방법

• 저자들은 데이터 x가 조각별 아핀 디코더 f(z) + ε를 통해 생성되는 깊이 있는 잠재변수 모델을 분석한다. 여기서 z는 가우시안 혼합 사전 분포에서 추출된다.
• 모델은 유니버설 근사 능력을 갖추며, 인코더에서 ReLU 또는 leaky-ReLU 활성화 함수를 사용하고, 잠재 공간에 혼합 사전 분포를 적용한다.
• 관측된 보조 정보 u나 잠재 공간 내 조건부 독립성의 가정 없이도, 최소한의 가정 하에 아핀 변환까지의 식별 가능성에 대해 증명한다.
• 이론적 프레임워크는 시뮬레이션 데이터(임의의 평행사변형)와 실제 데이터(MNIST)를 대상으로 한 실험을 통해 검증되며, MCC 및 아핀 거리와 같은 지표를 사용한다.
• 다양한 무작위 초기화에 걸쳐 잠재 공간의 안정성을 평가하기 위해 강력한 및 약한 최대 공분산 성분(MCC) 분석을 활용한다.
• 진짜 레이블을 보조 정보로 사용하는 iVAE와 MFC-VAE(보조 정보 없음)를 비교하여, 경쟁 수준의 안정성을 입증한다.

실험 결과

연구 질문

• RQ1 보조 정보나 약한 지도 학습 없이도 딥 생성 모델이 식별 가능할 수 있는가?
• RQ2 모델 아키텍처와 사전 분포에 어떤 조건이 성립하면 비지도 설정에서 식별 가능성이 보장되는가?
• RQ3 혼합 사전 분포와 ReLU 활성화 함수와 같은 다양한 가정 하에 식별 가능성의 강도는 어떻게 달라지는가?
• RQ4 VaDE 및 MFC-VAE와 같은 모델이 보조 정보 없이 안정적이고 재현 가능한 표현을 얼마나 잘 달성할 수 있는가?
• RQ5 진짜 레이블에 접근할 수 없는 상황에서도 MFC-VAE와 같은 모델의 경험적 안정성이 이론적으로 뒷받침되는가?

주요 결과

• 이 논문은 보조 정보 없이도 혼합 사전 분포와 ReLU/leaky-ReLU 인코더를 갖는 딥 생성 모델이 아핀 변환까지 식별 가능하다는 것을 증명하며, 오랫동안 남아있던 열린 문제를 해결한다.
• 3개의 클러스터를 가진 시뮬레이션 데이터에서 MFC-VAE는 평균 약한 MCC 값 0.99 (±0.003)을 기록하여 런 간 높은 안정성을 보였다.
• 10개의 런을 각 아키텍처별로 수행한 MNIST 데이터에서 MFC-VAE는 ReLU 기반으로 평균 약한 MCC 0.91 (±0.05), leaky-ReLU 기반으로 0.94 (±0.02)를 기록했으며, 진짜 레이블이 없는 상황에서도 iVAE를 일부 설정에서 능가했다.
• dist_Aff,L2 지표는 시뮬레이션 데이터에서 낮은 값을 보였으며(예: 0.1231 ± 0.076), 복구된 표현이 진짜 잠재 공간에 아핀 변환에 가까운 것으로 확인되었다.
• 결과적으로 MFC-VAE 및 VaDE와 같은 모델은 보조 정보 없이도 경쟁 수준의 안정성과 표현 일관성을 달성하며, 실세계 응용에의 활용을 뒷받침한다.
• 이론적 식별 가능성 계층 구조는 등방성 가우시안 사전 분포를 갖는 기존 VAE를 특수 케이스로 포함하며, 광범위한 적용 가능성을 보여준다.