[논문 리뷰] Variational Walkback: Learning a Transition Operator as a Stochastic Recurrent Net

Anirudh Goyal, Nan Rosemary Ke외 2명|PolyPublie (École Polytechnique de Montréal)|2017. 11. 07.

Gaussian Processes and Bayesian Inference참고 문헌 30인용 수 12

한 줄 요약

이 논문은 에너지 기반 모델이나 상세 균형 조건에 의존하지 않고 고품질의 샘플을 생성할 수 있도록 직접 확률적 전이 연산자를 학습하는 Variational Walkback (VW)를 소개한다. 노이즈가 첨가되고 가열된 궤적에서 변분 하한을 통해 원래의 데이터 포인트로 '되돌아가기'를 학습시킴으로써 VW는 비균형 정적 분포를 학습하며, 생물학적으로 타당한 비대칭 네트워크와 더불어 MNIST, CIFAR-10, SVHN, CelebA에서 훈련 궤적 길이를 초월해 뛰어난 샘플 품질을 제공한다.

ABSTRACT

We propose a novel method to directly learn a stochastic transition operator whose repeated application provides generated samples. Traditional undirected graphical models approach this problem indirectly by learning a Markov chain model whose stationary distribution obeys detailed balance with respect to a parameterized energy function. The energy function is then modified so the model and data distributions match, with no guarantee on the number of steps required for the Markov chain to converge. Moreover, the detailed balance condition is highly restrictive: energy based models corresponding to neural networks must have symmetric weights, unlike biological neural circuits. In contrast, we develop a method for directly learning arbitrarily parameterized transition operators capable of expressing non-equilibrium stationary distributions that violate detailed balance, thereby enabling us to learn more biologically plausible asymmetric neural networks and more general non-energy based dynamical systems. The proposed training objective, which we derive via principled variational methods, encourages the transition operator to "walk back" in multi-step trajectories that start at data-points, as quickly as possible back to the original data points. We present a series of experimental results illustrating the soundness of the proposed approach, Variational Walkback (VW), on the MNIST, CIFAR-10, SVHN and CelebA datasets, demonstrating superior samples compared to earlier attempts to learn a transition operator. We also show that although each rapid training trajectory is limited to a finite but variable number of steps, our transition operator continues to generate good samples well past the length of such trajectories, thereby demonstrating the match of its non-equilibrium stationary distribution to the data distribution. Source Code: http://github.com/anirudh9119/walkback_nips17

연구 동기 및 목표

• 에너지 함수나 상세 균형 조건에 의존하지 않는 직접적인 확률적 전이 연산자 학습 방법의 부족을 해결하기 위해.
• 생물학적 신경 동역학을 더 잘 반영하는 비균형, 비대칭 순환 네트워크의 훈련을 가능하게 하기 위해.
• 에너지 기반 모델의 한계, 즉 대칭 가중치 제약과 마르코프 체인의 느린 수렴을 극복하기 위해.
• 모델이 노이즈가 첨가된 다단계 궤적을 원래 데이터 포인트로 되돌리도록 유도하는 체계적인 훈련 목표를 개발하기 위해.
• 유한 시간 내의 훈련이 데이터 분포를 잘 따르는 장기적인 생성 능력을 갖춘 전이 연산자를 도출할 수 있음을 보여주기 위해.

제안 방법

• 현재 상태에서 다음 상태 분포로 매핑하는 확률적 순환 네트워크를 전이 연산자로 훈련한다.
• 변분 하한을 사용하여 원래 데이터 포인트로 되돌아가도록 모델을 유도하는 체계적인 목표를 유도한다.
• 데이터 포인트에서 시작하는 전방 궤적 동안 노이즈(온도)를 증가시켜 가열을 도입함으로써 파괴적 과정을 시뮬레이션한다.
• 역방향 냉각 과정을 사용하여 모델이 원래 데이터를 복구하는 궤적을 생성하도록 훈련하며, 노이즈 제거 오토인코더를 모방한다.
• 변동 길이의 궤적에 대해 변분 하한을 최적화하는 훈련 절차를 통해 탄력적이고 비균형적인 동역학을 허용한다.
• 대칭 가중치가 필요 없도록 하여 더 생물학적으로 타당한 네트워크 아키텍처를 가능하게 한다.

실험 결과

연구 질문

• RQ1 에너지 함수나 상세 균형 조건에 의존하지 않고 직접적으로 확률적 전이 연산자를 학습할 수 있는가?
• RQ2 변동 길이의 궤적에 대해 유한 시간 내 훈련을 수행할 경우, 훈련 궤적 길이를 초월해 고품질의 샘플을 생성할 수 있는 전이 연산자를 도출할 수 있는가?
• RQ3 상세 균형이 없을 경우, 순환 네트워크에서 더 표현력 있고 생물학적으로 타당한 생성 역학을 가능하게 할 수 있는가?
• RQ4 워크백 목표가 데이터 분포와 일치하는 비균형 정적 분포를 효과적으로 형성하는가?
• RQ5 기존 접근법과 비교해 샘플 품질과 모델 유연성 측면에서 제안된 방법은 어떠한가?

주요 결과

• 제안된 Variational Walkback (VW) 방법은 MNIST, CIFAR-10, SVHN, CelebA 데이터셋에서 이전의 전이 연산자 학습 시도에 비해 뛰어난 샘플을 생성한다.
• 변동 스텝 수를 가진 유한 길이 궤적에서 훈련되었음에도 불구하고, 학습된 전이 연산자는 훈련 궤적 길이를 초월해 고품질의 샘플을 계속 생성한다.
• 상세 균형이나 대칭 가중치가 필요 없이도, 데이터 분포와 일치하는 비균형 정적 분포를 성공적으로 학습한다.
• 훈련 목표가 노이즈가 첨가된 가열된 궤적을 되돌리도록 효과적으로 유도하여 생성 역학에서 강건성과 일반화 능력을 입증한다.
• 비대칭적이고 생물학적으로 타당한 신경망의 사용을 가능하게 하며, 가중치 대칭성 또는 가중치 운반의 필요성을 제거한다.
• 수면(파괴적 가열)과 각성(생성적 냉각)의 신경생물학적 유사성과 STDP 및 역방향 STDP가 시냅스 갱신에 핵심적인 역할을 한다는 점에서 타당한 신경생물학적 해석이 가능하다.