[논문 리뷰] Bidirectional Helmholtz Machines

Jörg Bornschein, Samira Shabanian외 2명|arXiv (Cornell University)|2015. 06. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 8

한 줄 요약

이 논문은 양방향 헬름홀츠 기계(BiHMs)를 제안하며, 이는 상향식 및 하향식 근사 추론 모델의 기하 평균으로 공동 분포를 구성하는 딥 생성 모델이다. 이러한 모델들 간의 바타차리아 거리(Bhattacharyya distance)를 최소화하는 하한(lower bound)를 최적화함으로써 BiHMs는 기존 VAE, RWS, IWAE보다 훨씬 더 효율적인 추론을 통해 더 깊은 아키텍처를 가능하게 하고, 가능성의 추정 속도를 수개체 수준으로 높여 최신 기술 수준의 가능도 likelihood를 달성한다.

ABSTRACT

Efficient unsupervised training and inference in deep generative models remains a challenging problem. One basic approach, called Helmholtz machine, involves training a top-down directed generative model together with a bottom-up auxiliary model used for approximate inference. Recent results indicate that better generative models can be obtained with better approximate inference procedures. Instead of improving the inference procedure, we here propose a new model which guarantees that the top-down and bottom-up distributions can efficiently invert each other. We achieve this by interpreting both the top-down and the bottom-up directed models as approximate inference distributions and by defining the model distribution to be the geometric mean of these two. We present a lower-bound for the likelihood of this model and we show that optimizing this bound regularizes the model so that the Bhattacharyya distance between the bottom-up and top-down approximate distributions is minimized. This approach results in state of the art generative models which prefer significantly deeper architectures while it allows for orders of magnitude more efficient approximate inference.

연구 동기 및 목표

• 복잡하고 다중 모달성 있는 데이터 분포를 가진 딥 생성 모델에서 효율적인 훈련과 추론을 해결하기 위해.
• VAE와 RWS와 같은 기존 방법들이 정확도가 떨어지는 사후 분포 근사로 인해 높은 계산 비용과 열악한 가능도 추정을 겪는 문제를 해결하기 위해.
• 상향식 및 하향식 추론 분포가 서로 유사하도록 내재적으로 정규화하는 모델을 개발하여 생성 성능을 향상시키고 더 깊은 아키텍처를 가능하게 하기 위해.
• 모델의 진짜 사후 분포가 상향식 및 하향식 추론 네트워크에 의해 잘 근사됨을 보장함으로써 가능도 추정을 더 효율적으로 하기 위해.

제안 방법

• 진짜 공동 분포 $p^*({\bf x}, {\bf h}_1, {\bf h}_2)$ 를 상향식 모델 $p({\bf x}, {\bf h}_1, {\bf h}_2)$ (하향식)와 하향식 모델 $q({\bf x}, {\bf h}_1, {\bf h}_2)$ (상향식)의 정규화된 기하 평균으로 정의한다.
• 상향식 및 하향식 근사 사후 분포 간의 바타차리아 거리를 최소화하는 정규화 항을 포함한 가능도의 변분 하한을 사용한다.
• 가능도를 효율적으로 추정하기 위해 중요도 표본 추출(importance sampling)를 사용한 확률적 경사 하강법으로 모델을 훈련시킨다.
• 기하 평균 모델의 대칭성을 활용하여, 계층 간에 전달되는 것은 이진 활성화와 중요도 가중치뿐인 효율적인 분산 훈련을 가능하게 한다.
• 상향식 및 하향식 추론 분포 간의 높은 유사도를 활용하여, 전체 무방향 BiHM 모델 $p^*$ 에서 샘플링을 통해 추론을 수행한다.
• 스토캐스틱 히든 유닛을 가진 이중층 아키텍처를 사용하며, $p$ 는 ${\bf h}_2$ 에서 ${\bf x}$ 를 생성하고, $q$ 는 ${\bf x}$ 에서 ${\bf h}_2$ 를 추론한다. 이는 모두 신경망을 통해 매개변수화된다.

실험 결과

연구 질문

• RQ1 진짜 사후 분포가 상향식 및 하향식 추론 네트워크에 의해 잘 근사되는 생성 모델을 구성할 수 있는가?
• RQ2 상향식 및 하향식 추론 분포 간의 바타차리아 거리를 최소화하는 것이 가능도 추정 및 모델 품질 향상에 기여하는가?
• RQ3 기존 VAE가 사후 분포 근사가 열악하여 어려움을 겪는 상황에서, 이 방법을 통해 더 깊은 아키텍처를 효과적으로 훈련시킬 수 있는가?
• RQ4 RWS, VAE, 또는 IWAE에 비해 이 프레임워크에서 가능도 추정이 상당히 더 효율적인가?
• RQ5 이 모델의 대칭적 구조가 반감독 또는 동적 관측 환경에서의 영리한 추론을 지원할 수 있는가?

주요 결과

• BiHM 모델은 MNIST에서 테스트 세트 가능도를 $-86.3 \times 10^{-3} \times 10^3$ (즉, $-86.3$)로 기록하여 RWS 및 VAE 기준선을 초월한다.
• BiHM의 추정된 유효 표본 크기(Essential Sample Size, ESS)는 $1.2\% \pm 0.2\%$ 로, 근사 사후 분포가 추론 네트워크에 잘 모델링되어 있음을 시사한다.
• 중요도 표본 수 $K=10$ 일 때 BiHM는 $K=10,000$ 표본을 사용한 RWS보다 더 높은 가능도 추정치를 달성하여 표본 효율성이 뛰어나다는 것을 보여준다.
• BiHM는 경쟁 가능한 가능도 추정을 위해 단지 $K=10$ 에서 $100$ 개의 표본만 필요로 하는 반면, VAE, RWS, IWAE는 성능을 따라잡기 위해 약 $10,000$ 개의 표본이 필요로 한다.
• BiHM 훈련은 단위 업데이트 단계에서 더 빠른 수렴을 보이며, 총 훈련 시간에서도 경쟁력을 유지한다. 또한 낮은 통신 오버헤드 덕분에 효율적인 분산 구현이 가능할 잠재력이 있다.
• 훈련 후 BiHM의 상향식 모델 $p$ 는 가능도와 샘플 품질 모두에서 RWS를 능가하며, 전체 $p^*$ 모델에서 샘플링을 수행하면 샘플의 정밀도가 더욱 향상된다.