[논문 리뷰] On importance-weighted autoencoders

Axel Finke, Alexandre H. Thiéry|arXiv (Cornell University)|2019. 07. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 33인용 수 5

한 줄 요약

이 논문은 재가중된 웨이크-슬립(RWS) 알고리즘을 일반화하고 IWAE-STL 및 IWAE-DREG 기울기 모두를 특수 케이스로 포함하는 통합 프레임워크인 학습을 위한 적응형 중요도 샘플링(AISLE)을 소개한다. RWS 유형의 적응형 중요도 샘플링이 다중 샘플 IWAE 목표 함수보다 고분산 조건에서 더 견고하다는 것을 보여주며, 히우리스틱한 IWAE 변형에 대해 원칙적인 이론적 기반을 제공한다.

ABSTRACT

The importance weighted autoencoder (IWAE) (Burda et al., 2016) is a popular variational-inference method which achieves a tighter evidence bound (and hence a lower bias) than standard variational autoencoders by optimising a multi-sample objective, i.e. an objective that is expressible as an integral over $K > 1$ Monte Carlo samples. Unfortunately, IWAE crucially relies on the availability of reparametrisations and even if these exist, the multi-sample objective leads to inference-network gradients which break down as $K$ is increased (Rainforth et al., 2018). This breakdown can only be circumvented by removing high-variance score-function terms, either by heuristically ignoring them (which yields the 'sticking-the-landing' IWAE (IWAE-STL) gradient from Roeder et al. (2017)) or through an identity from Tucker et al. (2019) (which yields the 'doubly-reparametrised' IWAE (IWAE-DREG) gradient). In this work, we argue that directly optimising the proposal distribution in importance sampling as in the reweighted wake-sleep (RWS) algorithm from Bornschein & Bengio (2015) is preferable to optimising IWAE-type multi-sample objectives. To formalise this argument, we introduce an adaptive-importance sampling framework termed adaptive importance sampling for learning (AISLE) which slightly generalises the RWS algorithm. We then show that AISLE admits IWAE-STL and IWAE-DREG (i.e. the IWAE-gradients which avoid breakdown) as special cases.

연구 동기 및 목표

• K가 증가함에 따라 중요도 가중 자동에코더(IWAE)에서 기울기 붕괴 문제, 특히 φ-기울기에서의 신호 대 잡음 비율 감소 문제를 해결하기 위해.
• 재가중된 웨이크-슬립(RWS) 알고리즘과 같이 적응형 중요도 샘플링이 다중 샘플 목표 함수 철학인 IWAE보다 바람직하다고 주장하기 위해.
• RWS, IWAE-STL, IWAE-DREG를 하나의 원칙적인 접근 방식으로 통합하는 일반적 프레임워크—학습을 위한 적응형 중요도 샘플링(AISLE)—을 체계화하기 위해.
• 히우리스틱한 IWAE-STL 기울기에 대해 이론적 정당성을 제공하고, RWS 유형의 적응형 중요도 샘플링 관점에서 이것이 자연스럽게 유도됨을 보여주기 위해.
• AISLE 변형을 실증적으로 평가하고, 다양한 설정에서 IWAE, IWAE-DREG, RWS-DREG와 비교하기 위해, 특히 비.i.i.d. 및 고차원 잠재 공간에서의 성능을 분석하기 위해.

제안 방법

• 변분 추론을 위한 일반적인 적응형 중요도 샘플링 프레임워크인 AISLE를 제안하며, 모델 파라미터 θ를 학습하는 동안 제안 분포 qφ,x(z)를 반복적으로 개선한다.
• AISLE에 두 가지 분산 기반 목표 함수를 도입한다: KL 및 χ² 분산으로, 각각 AISLE-KL 및 AISLE-χ² 변형을 이끌어낸다.
• K개의 입자로 자기정규화 중요도 샘플링을 사용하여 AISLE의 φ-기울기를 유도하며, 재정규화 및 스코어 함수 분산 문제를 피한다.
• IWAE-STL 및 IWAE-DREG 기울기가 AISLE의 특수 케이스임을 보이며, 특히 Tucker 등(2019)의 이중 재정규화 항등식을 새로운 방식으로 적용하여 IWAE-STL가 도출됨을 밝힌다.
• 고분산 환경에서의 수치적 불안정성과 편향을 줄이기 위해 중요도 가중치에 α*-스케일링을 적용하여 정규화한다.
• 특히 고K 설정에서 훈련을 안정화시키기 위해 실험에서 ADAM에 가중치 정규화를 사용한다.

실험 결과

연구 질문

• RQ1 RWS의 적응형 중요도 샘플링 접근 방식이 IWAE의 다중 샘플 목표 함수 철학에 비해 기울기 안정성과 실증 성능 측면에서 뛰어나다고 볼 수 있는가?
• RQ2 히우리스틱한 IWAE-STL 기울기는 원칙적인 이론적 프레임워크 내에서 정당화될 수 있는가?
• RQ3 IWAE-DREG 및 IWAE-STL 기울기는 AISLE와 같은 일반화된 RWS 유형의 프레임워크에서 자연스럽게 유도되는가?
• RQ4 AISLE의 성능은 다양한 차원과 입자 수에서 IWAE, IWAE-DREG, RWS-DREG와 비교해 어떻게 되는가?
• RQ5 중요도 가중치 정규화는 고분산 상황에서 기울기 안정성과 수렴 개선에 어떤 역할을 하는가?

주요 결과

• 재정규화를 방지하는 AISLE-KL-NOREP 및 AISLE-χ²-NOREP는 진정한 사후분포 πθ,x를 포함하지 않는 변분 가족에서 특히 중간 수준의 K에서 '스코어 함수 자유' 기울기(IWAE-STL, IWAE-DREG)보다 뛰어난 성능을 보인다.
• 표준 IWAE φ-기울기 성능은 K가 증가함에 따라 악화되며, 이는 이론적으로 예측된 바와 같이 O(K−1/2)의 신호 대 잡음 비율 감소와 일치한다.
• 기대와는 달리 '스코어 함수 자유' 기울기(IWAE-STL, IWAE-DREG)는 K가 커질수록 향상되지 않으며, 실제로는 주로 O(K−1) 자기정규화 편향이 지배하여 성능이 악화되는 경우가 있다.
• 중요도 가중치 정규화는 특히 고차원 설정(D=10)에서 χ² 기반 AISLE 변형의 안정성과 성능을 크게 향상시킨다.
• RWS-DREG는 제안 분포 qφ,x가 진짜 사후분포 πθ,x에 가까울 때만 잘 작동하며, 고차원 또는 표현력이 떨어지는 변분 가정에서는 실패한다.
• IWAE-STL 및 IWAE-DREG의 O(K−1) 자기정규화 편향은 실무에서 유리할 수 있으며, K를 늘림으로써 얻는 분산 감소의 이점보다 더 큰 영향을 미친다. 이는 이러한 추정기에서 편향과 분산 간의 트레이드오프가 존재함을 시사한다.