[논문 리뷰] Information Constraints on Auto-Encoding Variational Bayes

Romain Lopez, Jeffrey Regier외 2명|arXiv (Cornell University)|2018. 05. 22.

Machine Learning and Data Classification참고 문헌 47인용 수 65

한 줄 요약

집계 후포에서의 의존성을 dHSIC를 사용해 벌칙화하여 잠재 구성요소 간의 독립성을 강제하는 HSIC-제한 VAE(HCV)를 소개하고, 해석 가능하고 불변하며 잡음 제거된 표현 학습에의 응용과 scRNA-seq 분석을 포함한다.

ABSTRACT

Parameterizing the approximate posterior of a generative model with neural networks has become a common theme in recent machine learning research. While providing appealing flexibility, this approach makes it difficult to impose or assess structural constraints such as conditional independence. We propose a framework for learning representations that relies on Auto-Encoding Variational Bayes and whose search space is constrained via kernel-based measures of independence. In particular, our method employs the $d$-variable Hilbert-Schmidt Independence Criterion (dHSIC) to enforce independence between the latent representations and arbitrary nuisance factors. We show how to apply this method to a range of problems, including the problems of learning invariant representations and the learning of interpretable representations. We also present a full-fledged application to single-cell RNA sequencing (scRNA-seq). In this setting the biological signal is mixed in complex ways with sequencing errors and sampling effects. We show that our method out-performs the state-of-the-art in this domain.

연구 동기 및 목표

• 전통적 그래프-모형 제약을 넘어서는 특정 독립성 특성을 가지는 잠재 표현의 필요성을 제시한다.
• 커널 기반 의존성 측정치를 사용해 VAE의 집계 포스터리에 제약을 가하는 프레임워크를 제안한다.
• 잠재 부분집합 간의 독립성을 강제하기 위해 ELBO를 HSIC로 패널티하여 HSIC-제한 VAE(HCV)를 도입한다.
• 해석 가능한 표현, 불변 표현, 그리고 단일세포 RNA 시퀀싱 데이터의 잡음 제거 작업에서 이 방법을 시연한다.

제안 방법

• 변분 자동인코더(VAE)와 데이터의 혼합으로서의 집계 포스터리어 q_hat_phi(Z)를 검토한다.
• 커널 기반 의존성 측정치로서 HSIC와 그 d-변량 일반화(dHSIC)를 소개한다.
• 선택된 잠재 구성요소들 간의 HSIC에 비례하는 패널티로 ELBO를 최대화하여 HSIC-제한 VAE(HCV)를 정의한다(그리고 선택적 불필요 요인도 가능).
• 이 패널티를 로그 가능도에 대한 하한으로 정당화하고 HSIC의 미니배치 호환 추정에 주목한다.
• 특정 커널 선택하에서 HSIC 패널티가 기존의 불변성 접근법(예: MMD 기반 방법)을 포괄하고 관련될 수 있음을 보인다.
• 커널 선택, 배치 설정, 그리고 변분 포스터리에 대한 영향 등을 포함한 학습 및 계산 고려사항을 설명한다.

실험 결과

연구 질문

• RQ1 HSIC 기반 패널티가 VAE의 잠재 좌표 간 바람직한 독립성을 강제할 수 있는가?
• RQ2 표현 품질과 재구성 측면에서 HCV가 기존의 disentanglement/불변성 접근법(예: beta-VAE, beta-TCVAE, VFAE)과 어떻게 비교되는가?
• RQ3 실제 데이터에서 해석 가능한 요인 발견, 불필요 요인에 대한 불변성, 그리고 잡음 제거와 같은 다운스트림 작업을 HCV가 개선할 수 있는가?
• RQ4 ELBO, 집계 포스터리어의 상관관계, 계산 효율성에 대한 HSIC 패널티의 영향은 무엇인가?
• RQ5 잡음 제거 및 가설 검정을 위한 단일 세포 RNA 시퀀싱과 같은 복잡한 생물학적 데이터에서 HCV의 성능은 어떠한가?

주요 결과

• 선형 가우시안 설정에서 HCV는 베타-VAE 및 beta-TCVAE와 같은 기준선보다 ELBO 값이 더 높고(모델 적합도가 좋음) 집계 포스터리어의 의존성은 더 낮게 얻는다(HSIC로 측정).
• 해석 가능한 표현 학습에서 HSIC 기반 패널티는 재구성 품질과 독립성 간의 우호적인 타협을 기존의 disentanglement 방법과 비교해 제시한다.
• 조명 오염이 있는 얼굴 데이터에서 불변 표현 학습에 대해 HCV는 불필요한 조명에 더 불변하면서 신원 정보를 보존하는 표현을 생성한다.
• scRNA-seq 잡음 제거에서 HCV는 잠재 공간이 품질 관리 요인에 대한 의존성을 줄이고 scVI와 비교해 베이지안 가설 검정 성능을 향상시키며(IDR를 통해 마이크로어레이 결과와의 상관관계가 더 큼), 생물학적으로 해석 가능한 잠재 요인을 더 많이 시사한다.
• 전반적으로 HSIC 패널티는 전체 결합 분포 추정 없이도 잠재 표현의 독립성을 강제하는 확장 가능하고 미니배치 호환적인 방법을 제공한다.