[논문 리뷰] Decision-Making with Auto-Encoding Variational Bayes

Romain Lopez, Pierre Boyeau외 3명|arXiv (Cornell University)|2020. 02. 17.

Advanced Multi-Objective Optimization Algorithms참고 문헌 55인용 수 23

한 줄 요약

이 논문은 변분 오토인코더(VAE)의 삼단계 의사결정 프레임워크를 제안한다. 이는 모델 피팅과 사후 분포 근사의 분리에 기반한다: 첫째, IWELBO나 $χ^2$-VAE와 같은 목적함수를 사용해 생성 모델을 훈련한다; 둘째, 다양한 추론 목적함수를 통해 여러 개별적인 근사 사후 분포를 학습한다; 셋째, 다중 중요도 샘플링(MIS)을 사용해 이를 조합하여 강력한 의사결정을 수행한다. 이 방법은 단일 세포 RNA 시퀀싱에서의 후행 성능을 크게 향상시켜, 최신 기술 대비 차별 발현 탐지에서 뛰어난 성능을 보였다.

ABSTRACT

To make decisions based on a model fit with auto-encoding variational Bayes (AEVB), practitioners often let the variational distribution serve as a surrogate for the posterior distribution. This approach yields biased estimates of the expected risk, and therefore leads to poor decisions for two reasons. First, the model fit with AEVB may not equal the underlying data distribution. Second, the variational distribution may not equal the posterior distribution under the fitted model. We explore how fitting the variational distribution based on several objective functions other than the ELBO, while continuing to fit the generative model based on the ELBO, affects the quality of downstream decisions. For the probabilistic principal component analysis model, we investigate how importance sampling error, as well as the bias of the model parameter estimates, varies across several approximate posteriors when used as proposal distributions. Our theoretical results suggest that a posterior approximation distinct from the variational distribution should be used for making decisions. Motivated by these theoretical results, we propose learning several approximate proposals for the best model and combining them using multiple importance sampling for decision-making. In addition to toy examples, we present a full-fledged case study of single-cell RNA sequencing. In this challenging instance of multiple hypothesis testing, our proposed approach surpasses the current state of the art.

연구 동기 및 목표

• AEVB 기반 모델에서 진정한 사후 분포의 대체로 변분 사후 분포를 사용할 경우 발생하는 낮은 의사결정 품질 문제를 해결하기 위해.
• ELBO 이외의 다른 추론 목적함수(예: forward KL, $χ^2$-divergence)가 의사결정에서 중요도 샘플링을 위한 보다 우수한 제안 분포를 제공하는지 조사하기 위해.
• 모델 피팅과 사후 분포 근사의 분리를 통해 후행 의사결정의 편향과 분산을 감소시키는 방법을 개발하기 위해.
• 다중 가설 검정을 포함한 실제 단일 세포 RNA 시퀀싱 사례 연구에서 방법을 평가하기 위해.
• MIS를 통해 여러 근사 사후 분포를 조합할 경우, 표준 VAE 추론보다 더 신뢰성 있고 정확한 의사결정을 얻을 수 있음을 입증하기 위해.

제안 방법

• IWELBO, WW(정방향 KL), 또는 $χ^2$-VAE와 같은 ELBO가 아닌 목적함수를 사용해 데이터 생성 과정에 더 잘 맞는 생성 모델을 훈련한다.
• 모델을 고정한 상태에서, 다양한 추론 목적함수(예: ELBO, 정방향 KL, $χ^2$-발산)를 사용해 서로 다른 변분 사후 분포를 학습하여 다양한 제안 분포를 생성한다.
• 다중 중요도 샘플링(MIS)을 사용해 다수의 근사 사후 분포를 하나의 제안 분포로 조합하여, 편향과 분산이 감소한 사후 기대값을 추정한다.
• 결과적으로 얻어진 MIS 기반의 사후 기대값을 사용해 베이지안 의사결정 이론에 따라 진정한 사후 분포 하에서 기대 손실을 최소화하는 의사결정을 수행한다.
• 후행 의사결정의 기준으로 사후 기대 FDR를 사용하여, 전체 규모의 단일 세포 RNA-seq 데이터셋에 프레임워크를 적용해 차별 발현 검정을 수행한다.
• PSIS 진단과 PRAUC를 사용해 성능을 평가하며, 다양한 추론 설정 간 유전자 순위의 안정성과 정확도를 비교한다.

실험 결과

연구 질문

• RQ1 표준 ELBO 기반의 변분 사후 분포를 다른 추론 목적함수로 대체할 경우, VAE에서 의사결정 품질이 향상되는가?
• RQ2 다중 중요도 샘플링을 통해 여러 근사 사후 분포를 조합할 경우, 단일 사후 분포를 사용하는 것보다 더 정확하고 강건한 의사결정을 얻을 수 있는가?
• RQ3 다양한 추론 목적함수(예: 정방향 KL, $χ^2$-발산)가 의사결정에 사용되는 사후 분포 근사의 품질에 어떤 영향을 미치는가?
• RQ4 ELBO 최적화로 인한 모델 부적합성으로 인해 실세계 응용 분야(예: 단일 세포 게놈학)에서 후행 의사결정 성능이 얼마나 악화되는가?
• RQ5 제안된 프레임워크가 단일 세포 RNA-seq에서의 차별 발현 탐지와 같은 다중 가설 검정 작업에서 최신 기술 대비 슈퍼리어한 성능을 보일 수 있는가?

주요 결과

• 표준 ELBO 기반의 변분 사후 분포는 분산을 과소평가하여 중요도 샘플링의 제안 분포로 사용할 경우 성능이 열 劣하다. 이는 높은 PSIS 진단값과 신뢰할 수 없는 FDR 추정을 초래한다.
• IWAE 또는 $χ^2$-VAE 목적함수로 훈련된 모델은 더 낮은 PSIS 값과 더 신뢰할 수 있는 사후 기대 FDR 추정을 보여, 제안 분포의 품질 향상을 시사한다.
• 다중 중요도 샘플링을 통해 여러 사후 근사 분포를 조합함으로써, 차별 발현 탐지에서 FDR 통제와 AUC(정확도 = 0.94)가 크게 향상되었으며, 표준 VAE 및 IWAE 기반 베이스라인을 능가했다.
• 실제 단일 세포 RNA-seq 데이터셋에서 제안된 프레임워크는 수치적 불안정성에 대해 강건하고, 더 정확한 유전자 순위를 제공하는 등 뛰어난 성능을 보였다.
• 연구 결과, 사후 분포의 추론 목적함수 선택이 모델 목적함수 선택보다 의사결정 품질에 더 큰 영향을 미친다. 이는 모델 최적화와 추론 최적화의 분리를 중요하게 한다.
• 모델이 잘 피팅되었음에도 불구하고(높은 IWELBO), 표준 ELBO 사후 분포를 사용할 경우 잘못된 유전자 순위가 도출되어, 의사결정을 위한 별도의 사후 분포 근사가 필요함을 강조한다.