[논문 리뷰] Early Inference in Energy-Based Models Approximates Back-Propagation

Yoshua Bengio, Asja Fischer|arXiv (Cornell University)|2015. 10. 09.

Neural dynamics and brain function참고 문헌 17인용 수 19

한 줄 요약

이 논문은 잠재 변수를 가진 연속 에너지 기반 모델에서의 초기 추론 단계가 오차 역전파를 통한 기울기 전파를 근사한다고 제안한다. 랑주뱅 MCMC 동역학을 사용하여, 외부 입력으로부터의 교란이 은닉 유닛에서 기울기 유사 업데이트를 유도함을 보여주며, 이는 딥 네트워크에서의 신용 할당에 생물학적으로 타당한 메커니즘을 제안한다.

ABSTRACT

We show that Langevin MCMC inference in an energy-based model with latent variables has the property that the early steps of inference, starting from a stationary point, correspond to propagating error gradients into internal layers, similarly to back-propagation. The error that is back-propagated is with respect to visible units that have received an outside driving force pushing them away from the stationary point. Back-propagated error gradients correspond to temporal derivatives of the activation of hidden units. This observation could be an element of a theory for explaining how brains perform credit assignment in deep hierarchies as efficiently as back-propagation does. In this theory, the continuous-valued latent variables correspond to averaged voltage potential (across time, spikes, and possibly neurons in the same minicolumn), and neural computation corresponds to approximate inference and error back-propagation at the same time.

연구 동기 및 목표

• 연속 잠재 변수를 가진 에너지 기반 모델에서의 초기 추론 단계가 역전파를 어떻게 모방하는지 조사하기.
• 명시적인 역전파 없이 뇌 유사 시스템에서 효율적인 신용 할당을 수행할 수 있는 신경 계산 방식을 탐구하기.
• 스토케스틱 추론 동역학(Langevin MCMC)과 딥 네트워크에서의 기반 기반 학습 간의 연결 고리 설정하기.
• 연속적 값의 잠재 변수와 노이즈 기반 동역학을 사용하여 딥 계층에서의 신용 할당에 생물학적으로 타당한 메커니즘 제안하기.
• 시냅스 가소성 규칙(예: STDP)과 에너지 기반 모델에서의 스토케스틱 기울기 업데이트 사이의 잠재적 연관성 탐색하기.

제안 방법

• 에너지 함수가 시스템의 동역학을 정의하는 연속 에너지 기반 모델로 신경 시스템을 모델링하며, 가시 유닛과 은닉 유닛을 포함한다.
• 생물학적 신경 동역학을 시뮬레이션하기 위해 추가 노이즈가 있는 누설 통합자 뉴런 모델을 사용하여 랑주뱅 MCMC 추론을 근사한다.
• 은닉 유닛의 시간 진화를 에너지 함수에 대한 기울기 하강으로 유도하며, 가시 유닛으로부터 유도된 노이즈 유도 교란을 포함한다.
• 은닉 유닛 활성도의 시간 도함수를 분석하여, 외부 강제 작용 하에서 기울기 하강이 역전파된 오차 기울기와 수학적으로 일치함을 보여준다.
• 추론 과정을 변분 추론과 EM 유사 최적화와 연결하며, 모델 파라미터를 관측된 데이터를 더 잘 설명할 수 있도록 업데이트한다.
• STDP와 유사한 규칙에 따라 발생하는 시냅스 업데이트가 예측 오차에 대한 스토케스틱 기울기 하강을 근사할 수 있음을 제안한다.

실험 결과

연구 질문

• RQ1 에너지 기반 모델에서의 초기 추론 단계가 딥 러닝에서 사용되는 오차 역전파 과정을 근사할 수 있는가?
• RQ2 외부 입력으로부터의 교란이 노이즈 기반 연속 신경 시스템의 은닉 층을 어떻게 전파하는가?
• RQ3 은닉 유닛 활성도의 시간 도함수와 역전파된 오차 기울기 사이의 수학적 관계는 무엇인가?
• RQ4 STDP와 같은 시냅스 가소성 규칙이 자연스럽게 이러한 모델에서 스토케스틱 기울기 하강 학습을 근사하게 할 수 있는가?
• RQ5 에너지 기반 모델에서 대칭적 가중치 제약 조건은 생물학적으로 타당한 방식으로 학습 동역학을 통해 어떻게 유도될 수 있는가?

주요 결과

• 연속 에너지 기반 모델에서의 랑주뱅 MCMC 동역학에서의 초기 추론 단계는 은닉 유닛에서 역전파된 오차에 해당하는 기울기 유사 업데이트를 생성한다.
• 외부 강제 작용 하에서 은닉 유닛 활성도의 시간 도함수는 수학적으로 네트워크를 통해 역전파된 오차 기울기와 정확히 일치한다.
• 노이즈가 있는 누설 통합자에 의한 신경 계산이 랑주뱅 MCMC를 수행함으로써 동시에 근사적 추론과 오차 역전파를 수행한다.
• 시스템의 동역학은 모델 파라미터가 관측된 데이터를 더 잘 설명할 수 있도록 업데이트되는 변분 추론 목표와 자연스럽게 일치한다.
• STDP와 유사한 규칙에 따라 발생하는 시냅스 업데이트는 예측 오차에 대한 스토케스틱 기울기 하강을 근사할 수 있으며, 이는 생물학적으로 타당한 학습 메커니즘을 시사한다.
• 자기 회귀형 목표에서 대칭적 가중치가 자연스럽게 유도되며, 이는 생물학적 시냅스 위치의 비대칭성에도 불구하고 에너지 기반 모델에서 대칭 연결의 실현 가능성을 뒷받침한다.