[논문 리뷰] On the relationship between variational inference and adaptive importance sampling.

Axel Finke, Alexandre H. Thiéry|arXiv (Cornell University)|2019. 07. 24.

Explainable Artificial Intelligence (XAI)인용 수 2

한 줄 요약

이 논문은 다중 샘플 변분 추론을 위한 통합 프레임워크인 AISLE를 소개한다. 이는 IWAE와 RWS를 특수한 경우로 포함한다. Tucker 등(2019)의 분산 감소 기법을 적용함으로써, 스티킹-더-랜딩(Sticking-the-Landing) 기울기의 이론적 근거를 제시하며, 이전 연구에서의 붕괴 원인이 공동 목표의 부재 때문이 아니라는 것을 밝힌다. 또한, IWAE 스타일의 목표 함수보다는 적응형 중요도 샘플링을 더 이론적으로 타당한 기반으로 삼아 순차 몽테카를로 확장을 위한 기반을 마련한다.

ABSTRACT

The importance weighted autoencoder (IWAE) (Burda et al., 2016) and reweighted wake-sleep (RWS) algorithm (Bornschein and Bengio, 2015) are popular approaches which employ multiple samples to achieve bias reductions compared to standard variational methods. However, their relationship has hitherto been unclear. We introduce a simple, unified framework for multi-sample variational inference termed adaptive importance sampling for learning (AISLE) and show that it admits IWAE and RWS as special cases. Through a principled application of a variance-reduction technique from Tucker et al. (2019), we also show that the sticking-the-landing (STL) gradient from Roeder et al. (2017), which previously lacked theoretical justification, can be recovered as a special case of RWS (and hence of AISLE). In particular, this indicates that the breakdown of RWS -- but not of STL -- observed in Tucker et al. (2019) may not be attributable to the lack of a joint objective for the generative-model and inference-network parameters as previously conjectured. Finally, we argue that our adaptive-importance-sampling interpretation of variational inference leads to more natural and principled extensions to sequential Monte Carlo methods than the IWAE-type multi-sample objective interpretation.

연구 동기 및 목표

• 다중 샘플을 사용하는 변분 추론, IWAE, RWS 간의 이론적 관계를 명확히 하여, 이들이 공통적으로 다중 샘플을 사용하지만 그 이론적 관계가 모호했던 점을 해소하기 위함.
• IWAE와 RWS를 하나의 적응형 중요도 샘플링 해석 아래 일반화하는 통합 프레임워크인 AISLE를 개발하기 위함.
• 스티킹-더-랜딩(STL) 기울기의 이론적 기반을 제공하기 위함. 이는 기존에 경험적으로 성공했지만 이론적 정당성이 없었던 점을 보완하기 위함.
• Tucker 등(2019)에서 관찰된 RWS의 붕괴 원인이 생성 모델과 추론 네트워크의 공동 목표가 없기 때문인지 분석하기 위함.
• 변분 추론을 순차 몽테카를로 방법으로 확장하기 위해, IWAE 스타일의 목표 함수보다 적응형 중요도 샘플링을 더 자연스럽고 이론적으로 타당한 기반으로 제안하기 위함.

제안 방법

• 적응형 중요도 샘플링에 기반한 다중 샘플 변분 추론을 위한 일반적 프레임워크인 AISLE를 제안하며, 제안 분포를 적응적으로 학습시켜 변분 하한의 분산을 최소화함.
• 특정 제안 및 가중치 업데이트 전략을 선택함으로써, IWAE와 RWS가 AISLE의 특수한 경우로 나타남을 보여냄.
• Tucker 등(2019)의 분산 감소 기법을 AISLE 프레임워크에 적용하여, STL 기울기를 RWS의 특수한 경우로 유도함.
• AISLE 프레임워크를 활용해 RWS와 STL 간의 구조적 차이, 특히 파라미터 업데이트 방식과 기울기 계산 방식의 차이를 분석함.
• IWAE 목표 함수를 기본 목표로 보는 것이 아니라, 더 넓은 적응형 중요도 샘플링 체계의 특수한 경우로 재해석함.
• RWS가 특정 설정에서 붕괴되는 원인이 이론적으로 공동 최적화의 부재 때문이라는 기존 해석과는 달리, 제안 분포의 품질에 민감하기 때문임을 규명함.

실험 결과

연구 질문

• RQ1 IWAE와 RWS는 통합 이론적 프레임워크 내에서 어떻게 관련되어 있는가?
• RQ2 스티킹-더-랜딩 기울기는 원리적인 변분 추론 프레임워크 내에서 공식적으로 정당화될 수 있는가?
• RQ3 Tucker 등(2019)에서 관찰된 RWS의 붕괴 원인이 생성 모델과 추론 네트워크의 공동 목표가 없기 때문인가?
• RQ4 변분 추론의 적응형 중요도 샘플링 해석은 IWAE 스타일의 목표 함수보다 순차 몽테카를로 방법으로의 확장을 더 자연스럽고 이론적으로 타당하게 할 수 있는가?
• RQ5 분산 감소 기법은 서로 다른 다중 샘플 변분 추론 방법들을 연결하는 데 어떤 역할을 하는가?

주요 결과

• AISLE는 적응형 중요도 샘플링 프레임워크 내에서 IWAE와 RWS를 성공적으로 통합하며, 이들이 더 넓은 다중 샘플 변분 추론 방법의 특수한 경우임을 보여줌.
• 스티킹-더-랜딩 기울기는 AISLE 내에서 RWS의 특수한 경우로 공식적으로 복원되며, 이는 그 사용에 대한 첫 이론적 정당성을 제공함.
• Tucker 등(2019)에서 관찰된 RWS의 붕괴 원인이 모델 및 추론 파라미터의 공동 목표가 없기 때문이 아니라, 제안 분포 업데이트에 대한 민감성 때문임을 규명함.
• 변분 추론의 적응형 중요도 샘플링 해석은 IWAE 스타일의 목표 함수보다 순차 몽테카를로 방법으로의 확장을 더 이론적으로 타당하고 자연스럽게 가능하게 함.
• Tucker 등(2019)의 분산 감소 기법을 통해 AISLE 프레임워크 내에서 STL 기울기의 깔끔한 유도가 가능해지며, 이는 STL 기울기의 이론적 타당성을 강화함.
• 분석 결과, RWS의 핵심 문제점은 공동 최적화의 부재가 아니라, 학습 중 제안 분포 업데이트 방식으로 인한 불안정성에 기인함을 규명함.