[논문 리뷰] Towards Biologically Plausible Deep Learning

Yoshua Bengio, Dong-Hyun Lee외 3명|arXiv (Cornell University)|2015. 02. 14.

Neural dynamics and brain function참고 문헌 37인용 수 296

한 줄 요약

이 논문은 변분 목표 함수 위에서 스파ike 타이밍 의존 성숙도(StDP)를 확률적 경사 하강법으로 해석함으로써, 역전파 없이도 신뢰도 할당이 가능한 생물학적으로 타당한 딥 뉴럴 네트워크 학습 프레임워크를 제안한다. 신경 동역학과 노이즈 제거 오토인코더 학습을 통한 근사 추론이 역전파를 대체할 수 있으며, 이로 인해 경쟁 가능한 생성 모델링 성능을 달성한다.

ABSTRACT

Neuroscientists have long criticised deep learning algorithms as incompatible with current knowledge of neurobiology. We explore more biologically plausible versions of deep representation learning, focusing here mostly on unsupervised learning but developing a learning mechanism that could account for supervised, unsupervised and reinforcement learning. The starting point is that the basic learning rule believed to govern synaptic weight updates (Spike-Timing-Dependent Plasticity) arises out of a simple update rule that makes a lot of sense from a machine learning point of view and can be interpreted as gradient descent on some objective function so long as the neuronal dynamics push firing rates towards better values of the objective function (be it supervised, unsupervised, or reward-driven). The second main idea is that this corresponds to a form of the variational EM algorithm, i.e., with approximate rather than exact posteriors, implemented by neural dynamics. Another contribution of this paper is that the gradients required for updating the hidden states in the above variational interpretation can be estimated using an approximation that only requires propagating activations forward and backward, with pairs of layers learning to form a denoising auto-encoder. Finally, we extend the theory about the probabilistic interpretation of auto-encoders to justify improved sampling schemes based on the generative interpretation of denoising auto-encoders, and we validate all these ideas on generative learning tasks.

연구 동기 및 목표

• 딥 뉴럴 네트워크에서 역전파의 생물학적 비현실성, 특히 대칭 가중치와 정밀한 오차 신호 전파에 대한 의존성 문제를 해결하기 위해.
• STDP에 대한 기계 학습적 해석을 제공하여 깊이 있는 네트워크에서 효율적인 신뢰도 할당을 가능하게 하기 위해.
• 신경 동역학과 변분 추론을 기반으로 하여 지도학습, 비지도학습, 강화학습을 통합하는 공통 프레임워크를 구축하기 위해.
• 앞선 및 뒤쪽 활성화 전파를 통해 훈련된 노이즈 제거 오토인코더가 역전파 없이도 기울기 업데이트를 근사할 수 있음을 보여주기 위해.
• 반복적 추론을 통해 생성 모델링 과제에서 성능을 검증하여, 반복적 추론을 통한 우수한 우도 및 샘플 품질 향상을 입증하기 위해.

제안 방법

• 피드백 신호가 뉴런의 발화 빈도를 기울기 방향으로 조절함으로써, STDP를 변분 목표 함수 위에서 확률적 경사 하강법으로 해석한다.
• 숨겨진 상태가 데이터와 은닉 변수의 동시 확률을 최대화하도록 업데이트되는 확률적 그래픽 모델에서의 근사 추론으로서의 신경 동역학을 모델링한다.
• 입력을 손상된 상태로 복원하도록 훈련되는 쌍층 구조의 노이즈 제거 오토인코더를 사용하며, 가중치 유사성 없이도 전방 및 후방 전파를 통해 기울기 추정이 가능하도록 한다.
• 근사 사후 분포를 사용하는 변분 EM 프레임워크를 적용하며, E단계는 신경 동역학으로, M단계는 STDP 기반의 가중치 업데이트로 구현한다.
• 은닉 상태에 기반한 관측된 입력의 우도를 반복적으로 최대화함으로써 결손된 입력을 채우는 수정된 추론 절차를 도입한다.
• 추론 과정에 노이즈를 도입하여 MCMC 샘플링을 근사함으로써, 표준 변분 추론을 초월한 샘플 품질 향상을 달성한다.

실험 결과

연구 질문

• RQ1 STDP는 깊이 있는 네트워크에서 신뢰도 할당을 지원하는 확률적 경사 하강법의 한 형태로 해석될 수 있는가?
• RQ2 정확한 MCMC 샘플링 없이도 신경 동역학을 사용하여 확률 모델에서 근사 추론을 어떻게 구현할 수 있는가?
• RQ3 전방 및 후방 전파를 통해 훈련된 노이즈 제거 오토인코더가 딥 러닝에서 역전파를 대체할 수 있는가?
• RQ4 노이즈 도입을 통한 반복적 추론이 변분 EM 기반의 생성 모델 품질을 향상시키는가?
• RQ5 이 프레임워크는 생물학적으로 타당한 한 가지 메커니즘으로 지도학습, 비지도학습, 강화학습을 통합할 수 있는가?

주요 결과

• STDP는 변분 목표 함수 위에서의 확률적 경사 하강법으로 해석될 수 있으며, 깊이 있는 네트워크에서 신뢰도 할당을 위한 생물학적으로 타당한 메커니즘을 제공한다.
• 목표 함수 값 향상을 향해 발화 빈도를 조절하는 신경 동역학은 정확한 MCMC 샘플링이 필요 없이도 확률 모델에서의 근사 추론에 해당한다.
• 제안된 방법은 생성 학습 과제에서 경쟁 가능한 성능을 달성하며, 표준 변분 추론 대비 우도와 샘플 품질이 향상된다.
• 모델 자체의 동역학을 이용한 반복적 추론은 결손 데이터 보정에 효과적이며, 손상된 입력의 복원을 통해 이를 입증한다.
• 전방 및 후방 활성화 전파를 통해 훈련된 노이즈 제거 오토인코더는 대칭 가중치나 오차 역전파 없이도 기울기 업데이트를 근사할 수 있다.
• 추론 과정에서의 노이즈 도입은 샘플링 품질을 향상시키며, 생물학적으로 타당한 프레임워크 내에서 MCMC 유사 추론으로 가는 길을 제시한다.