[논문 리뷰] Feedforward Initialization for Fast Inference of Deep Generative Networks is biologically plausible

Yoshua Bengio, Benjamin Scellier외 3명|arXiv (Cornell University)|2016. 06. 06.

Cell Image Analysis Techniques참고 문헌 20인용 수 18

한 줄 요약

이 논문은 피드포워드 초기화가 연속된 레이어가 좋은 오토인코더를 형성하도록 보장하여, 네트워크의 초기 상태를 고정점에 매우 가깝게 만들므로, 깊이 있는 순환 생성 네트워크에서 거의 즉각적인 추론을 가능하게 한다. 핵심 결과는 이 설정이 반복적 리셋이 없이도 지수적으로 빠른 수렴을 가능하게 하며, 피드백 연결을 가진 모델에서 빠른 추론을 위한 생물학적으로 타당한 메커니즘을 제공한다는 것이다.

ABSTRACT

We consider deep multi-layered generative models such as Boltzmann machines or Hopfield nets in which computation (which implements inference) is both recurrent and stochastic, but where the recurrence is not to model sequential structure, only to perform computation. We find conditions under which a simple feedforward computation is a very good initialization for inference, after the input units are clamped to observed values. It means that after the feedforward initialization, the recurrent network is very close to a fixed point of the network dynamics, where the energy gradient is 0. The main condition is that consecutive layers form a good auto-encoder, or more generally that different groups of inputs into the unit (in particular, bottom-up inputs on one hand, top-down inputs on the other hand) are consistent with each other, producing the same contribution into the total weighted sum of inputs. In biological terms, this would correspond to having each dendritic branch correctly predicting the aggregate input from all the dendritic branches, i.e., the soma potential. This is consistent with the prediction that the synaptic weights into dendritic branches such as those of the apical and basal dendrites of pyramidal cells are trained to minimize the prediction error made by the dendritic branch when the target is the somatic activity. Whereas previous work has shown how to achieve fast negative phase inference (when the model is unclamped) in a predictive recurrent model, this contribution helps to achieve fast positive phase inference (when the target output is clamped) in such recurrent neural models.

연구 동기 및 목표

• 순환적인 깊이 있는 생성 모델에서 장기간 반복적 추론이 생물학적으로 타당하지 않거나 계산적으로 비효율적인 문제를 해결하기 위해.
• 뇌에 영감을 받은 모델에서 흔히 사용되는 비시계적 순환 네트워크에서, 느린 MCMC나 고정점 리셋에 의존하지 않고도 빠른 추론을 가능하게 하기 위해.
• 좋은 오토인코더 구조가 빠른 수렴을 가능하게 하므로, 빠른 피드포워드 네트워크와 순환 모델 사이의 격차를 메우기 위해.
• 다중 구역 신경세포 다이내믹스와 예측 오차 최소화 원칙과 일치하는 생물학적으로 타당한 추론 메커니즘을 제공하기 위해.
• 실제 가중치 초기화 조건 하에서 빠른 추론이 가능함을 보여줌으로써, 이러한 모델을 효율적으로 훈련시킬 수 있음을 뒷받침하기 위해.

제안 방법

• 에너지 최소화로 모델링된 상향 및 하향 연결을 가진 순환 스토케스틱 아키텍처를 사용한다.
• 입력에서 은닉 레이어로의 피드포워드 패스가 리셋을 위한 초기 상태로 기능한다.
• 핵심 조건은 연속된 레이어가 좋은 오토인코더를 형성하는 것으로, 하향 및 상향 신호가 총 입력에 기여하는 데 일관성이 있어야 한다.
• 수염 가지(예: 아파탈 및 베이스럴)가 세밀한 활동의 평균을 예측하고 예측 오차를 최소화한다고 가정한다.
• 에너지 함수에 의해 동역학이 결정되며, 고정점은 안정된 상태에 해당하고, 초기화가 양호하면 시스템은 매우 빠르게 수렴한다.
• 조각별 선형 비선형성과 대칭 가중치 초기화를 사용하여 실험적으로 검증하였으며, MNIST 데이터셋을 대상으로 하였다.

실험 결과

연구 질문

• RQ1 피드포워드 패스가 순환 깊이 있는 생성 네트워크에서 빠른 추론을 위한 효과적인 초기화로 기능할 수 있는 조건은 무엇인가?
• RQ2 상향 및 하향 신호 간의 일관성이 고정점으로의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 연속된 레이어 사이의 오토인코더 구조가 피드백 연결을 가진 순환 네트워크에서 빠른 수렴을 보장할 수 있는가?
• RQ4 이 빠른 추론 메커니즘은 특히 피라미드 세포 수염 가지 계산과 관련하여 생물학적으로 타당한가?
• RQ5 이 방법은 이전에 느린 반복적 리셋이 필요한 모델에서 더 빠른 훈련과 추론을 가능하게 하는가?

주요 결과

• 연속된 레이어가 좋은 오토인코더를 형성할 경우, 단일 피드포워드 패스 이후 거의 즉각적으로 고정점으로 수렴한다.
• 실험 결과, MNIST에서 500개 및 1000개의 은닉 유닛을 사용할 때 오토인코더 조건을 만족하면 수렴 속도가 지수적으로 빨라진다.
• 결합된 피드백 및 피드포워드 가중치를 가진 무작위 초기화된 가중치는 느린 수렴을 유도하지만, 훈련된 오토인코더 가중치는 빠른 리셋을 가능하게 한다.
• 피드포워드 패스 이후의 초기 상태는 이미 고정점에 매우 가까워져 반복 횟수를 크게 줄였다.
• 이 방법은 다양한 은닉 레이어 크기에서 뚜렷한 수렴 속도를 유지하며 일반화 가능성에 기여한다.
• 결과는 최근의 다중 구역 신경세포 모델과 일치하며, 시냅스 가중치가 수염 가지 예측 오차를 최소화하도록 훈련된다는 것을 시사한다.