[논문 리뷰] Joint Stochastic Approximation learning of Helmholtz Machines

Haotian Xu, Zhijian Ou|arXiv (Cornell University)|2016. 03. 20.

Gaussian Processes and Bayesian Inference참고 문헌 16인용 수 6

한 줄 요약

이 논문은 로빈스-몬로 스토하스틱 추정을 사용하여 근사적 경량화된 로그우도와 포함형 KL 발산을 직접 최적화하는 새로운 알고리즘인 공동 확률적 근사(Joint Stochastic Approximation, JSA)를 제안한다. 기울기 업데이트를 근의 탐색 문제로 공식화하고, MTMIS와 같은 MCMC 연산자를 활용함으로써, RWS에 비해 더 빠른 수렴 속도와 높은 샘플링 효율을 보이며 MNIST에서 더 뛰어난 우도 성능을 달성한다.

ABSTRACT

Though with progress, model learning and performing posterior inference still remains a common challenge for using deep generative models, especially for handling discrete hidden variables. This paper is mainly concerned with algorithms for learning Helmholz machines, which is characterized by pairing the generative model with an auxiliary inference model. A common drawback of previous learning algorithms is that they indirectly optimize some bounds of the targeted marginal log-likelihood. In contrast, we successfully develop a new class of algorithms, based on stochastic approximation (SA) theory of the Robbins-Monro type, to directly optimize the marginal log-likelihood and simultaneously minimize the inclusive KL-divergence. The resulting learning algorithm is thus called joint SA (JSA). Moreover, we construct an effective MCMC operator for JSA. Our results on the MNIST datasets demonstrate that the JSA's performance is consistently superior to that of competing algorithms like RWS, for learning a range of difficult models.

연구 동기 및 목표

• 기존의 헬름홀츠 기계 학습 알고리즘이 근사적 우도의 경계를 간접적으로 최적화하는 데에 한계가 있다는 문제를 해결하기 위해.
• 이산형 은닉 변수를 가진 딥 생성 모델에서 근사적 우도와 포함형 KL 발산을 직접 최적화할 수 있는 프레임워크를 개발하기 위해.
• 로빈스-몬로 스토하스틱 추정 이론을 생성 모델과 추론 모델의 공동 학습에 통합하기 위해.
• 추론 모델을 제안 분포로 사용하여, 특히 MIS와 MTMIS를 포함한 효율적인 MCMC 연산자를 설계하기 위해.
• MNIST와 같은 벤치마크 데이터셋에서 JSA의 우도 성능과 수렴 속도에서의 우수성을 경험적으로 검증하기 위해.

제안 방법

• 스토하스틱 추정을 사용하여 생성 모델과 추론 모델의 공동 학습을 근의 탐색 문제로 공식화하며, 근사적 우도의 기울기와 포함형 KL 발산의 기울기를 0으로 설정한다.
• 필요한 기울기를 기대값으로 표현하여, 감소하는 단계 크기를 가진 스토하스틱 추정을 통해 반복적인 파라미터 업데이트를 가능하게 한다.
• SA 프레임워크 내에서 MCMC 이동을 구성하기 위해 추론 모델 $ q_{\bm{\phi}}(\bm{h}|\bm{x}) $ 를 제안 분포로 사용한다.
• 표준 메트로폴리스 독립 샘플러(MIS)와 다중 시도 메트로폴리스 독립 샘플러(MTMIS)의 두 가지 MCMC 연산자를 사용하여 혼합성과 수렴성을 향상시킨다.
• 각 이동에서 10개의 시도 샘플을 추출하고 수용 확률에 따라 하나를 선택함으로써 MTMIS를 적용하여, 표준 MIS 대비 더 높은 샘플링 효율을 확보한다.
• 학습률이 0.0005와 0.001인 미니배치 SGD를 사용하며, 검증 우도 기반으로 최고 성능을 보인 실행 결과를 선택한다.

실험 결과

연구 질문

• RQ1 스토하스틱 추정이 헬름홀츠 기계에서 근사적 우도와 포함형 KL 발산을 공동으로 최적화하는 데 효과적으로 적용될 수 있는가?
• RQ2 MCMC에서 추론 모델을 제안 분포로 사용할 경우 JSA의 수렴성과 우도 성능이 향상되는가?
• RQ3 JSA 프레임워크 내에서 MTMIS는 MIS에 비해 샘플링 효율성과 수렴 속도에서 어떻게 비교되는가?
• RQ4 RWS와 같은 최첨단 방법에 비해 JSA는 이산형 신뢰망에서 MNIST에서 더 뛰어난 테스트 우도를 달성하는가?
• RQ5 JSA는 연속형과 이산형 은닉 변수를 모두 처리할 수 있으며, 도전적인 모델에서도 성능을 유지하는가?

주요 결과

• JSA-MTMIS는 MNIST에서 테스트된 모든 모델 아키텍처에서 RWS에 비해 일관되게 뛰어난 테스트 우도를 달성한다. 이는 베르누이 및 다항분포 은닉 유닛을 가진 SBN에서도 마찬가지다.
• 200-200-200-10(C) 모델에서 JSA-MTMIS는 테스트 로그우도 87.82를 기록했으며, RWS의 88.43을 초월한다. 하한은 96.58이다.
• JSA-MIS는 낮은 샘플링 효율성으로 인해 JSA-MTMIS와 RWS에 비해 약 10배 느리게 수렴하며, 수용률은 40-50%에 불과하다.
• JSA-MTMIS는 80-90%의 수용률을 기록하여 JSA-MIS보다 훨씬 높은 수준을 보이며, 더 나은 혼합성과 더 큰 이동을 의미한다.
• 수렴 곡선을 통해 JSA-MTMIS는 에포크당 우도 향상에서 RWS와 동등하거나 이를 초월함을 확인하였으며, 더 빠른 학습 역학을 보였다.
• 모델의 깊이와 유형에 관계없이 강건하며, 베르누이 및 다항분포 신뢰망 모두에서 일관된 성능 향상을 보였다.