[논문 리뷰] Hierarchical Importance Weighted Autoencoders

Chin-Wei Huang, Kris Sankaran외 3명|arXiv (Cornell University)|2019. 05. 13.

Statistical Methods and Inference인용 수 6

한 줄 요약

이 논문은 중요도 가중치가 부여된 자동부호화기(H-IWAE)를 제안하며, 이는 다수의 제안 샘플 간의 음의 상관관계를 유도하기 위해 공유 메타-잠재 변수를 사용하는 변분 추론 방법이다. 이는 중요도 가중치가 부여된 하한의 분산을 감소시킨다. 제안을 조율하여 개별 오류를 보완함으로써, 특히 더 큰 샘플 수에서 사후 분포 근사와 추론 성능을 향상시킨다.

ABSTRACT

Importance weighted variational inference (Burda et al., 2015) uses multiple i.i.d. samples to have a tighter variational lower bound. We believe a joint proposal has the potential of reducing the number of redundant samples, and introduce a hierarchical structure to induce correlation. The hope is that the proposals would coordinate to make up for the error made by one another to reduce the variance of the importance estimator. Theoretically, we analyze the condition under which convergence of the estimator variance can be connected to convergence of the lower bound. Empirically, we confirm that maximization of the lower bound does implicitly minimize variance. Further analysis shows that this is a result of negative correlation induced by the proposed hierarchical meta sampling scheme, and performance of inference also improves when the number of samples increases.

연구 동기 및 목표

• 샘플 간의 구조적 의존성을 도입하여 중요도 가중치가 부여된 변분 추론의 높은 분산 문제를 해결한다.
• 다중 제안을 조율하는 계층적 메타-샘플러를 사용하여 사후 분포 근사 품질을 향상시킨다.
• 하한의 수렴과 추정기 분산의 수렴 간 이론적 연결을 수립한다.
• 중요도 가중치 하한을 최대화함으로써 유도된 음의 상관관계로 인해 분산이 암묵적으로 최소화됨을 경험적으로 검증한다.
• 최적화된 가중치 히우리스틱을 사용한 계층적 샘플링을 통해 표준 밀도 추정 벤치마크에서 향상된 추론 성능을 보여준다.

제안 방법

• 공유 메타-잠재 변수 $\mathbf{z}_0$ 가 다수의 제안 분포 $q_j(\mathbf{z}_j|\mathbf{z}_0)$ 를 제어하는 계층적 잠재 구조를 도입하여 샘플 간의 의존성을 유도한다.
• 공유 메타-샘플링을 통합함으로써 표준 IWAE 하한을 일반화한 계층적 중요도 가중치 하한(H-IWLB)을 유도한다.
• 편향을 보정하기 위해 중요도 가중치와 가중치 함수 $\pi_j$ 를 사용하며, 균일 평균($\alpha=0$) 및 균형 잡힌 가중치($\alpha=1$)와 같은 히우리스틱을 적용한다.
• 신경망 인코더를 통한 암시적 추론과 함께 H-IWLB의 기울기 기반 최적화로 모델을 훈련시킨다.
• 샘플링 중요도 재표본화(SIR)를 적용하여 학습된 제안의 상관 구조를 시각화하고 분석한다.
• 폴리악 평균과 학습률 스케줄링을 사용하여 표준 밀도 추정 데이터셋에서 훈련을 안정화시킨다.

실험 결과

연구 질문

• RQ1 계층적 메타-샘플링 체계가 변분 추론에서 중요도 가중치 추정기의 분산을 줄일 수 있는가?
• RQ2 다수의 제안 간 음의 상관관계를 유도함으로써 변분 하한의 타이트함이 향상되는가?
• RQ3 가중치 히우리스틱의 선택이 학습된 제안의 형태와 상관 구조에 어떤 영향을 미치는가?
• RQ4 H-IWLB를 최대화함으로써 중요도 가중치 추정기의 몬테카를로 추정의 분산이 암묵적으로 최소화되는가?
• RQ5 표준 IWAE와 비교했을 때, 계층적 샘플링은 표준 밀도 추정 벤치마크에서 추론 성능을 향상시킬 수 있는가?

주요 결과

• H-IWAE 모델은 공유 메타-잠재 변수 $\mathbf{z}_0$ 를 통해 제안 간 음의 상관관계를 유도함으로써 중요도 가중치 추정기의 분산을 낮춘다.
• 경험 결과는 H-IWLB를 최대화함으로써 추정기의 분산이 암묵적으로 감소함을 확인하며, 하한 수렴과 분산 수렴 간 이론적 연결을 지지한다.
• $\alpha=1$(균형 잡힌 히우리스틱)일 경우 제안은 더 전문화되고 음의 상관관계를 가지며, $K$ 가 증가함에 따라 이진 MNIST 및 OMNIGLOT 데이터셋에서 더 나은 성능을 보인다.
• Caltech101 Silhouettes에서 $K=5$ 이고 $\alpha=1$ 일 경우, 표준 정규 분포 IWAE와 단일 계층적 제안자 IWAE보다 H-IWAE가 성능이 뛰어나지만, 최고의 베이스라인보다는 여전히 열등하다.
• 디코더 업데이트 이전에 미니배치당 인코더 업데이트를 반복하면 H-IWAE 성능이 크게 향상되며, 이는 더 나은 추론 모델 최적화로 인한 암시적 오차 감소를 시사한다.
• 시각화 결과는 공통 $\mathbf{z}_0$ 를 사용해 훈련된 제안은 음의 상관관계를 가지며, 독립적인 $\mathbf{z}_0$ 는 양의 상관관계를 가지는 편향을 유도하고 성능이 열 劣하다.