[논문 리뷰] Mean Field Bayes Backpropagation: scalable training of multilayer neural networks with binary weights

Daniel Soudry, Ron Meir|arXiv (Cornell University)|2013. 10. 07.

Advanced Neural Network Applications참고 문헌 18인용 수 4

한 줄 요약

이 논문은 이진 가중치를 가진 다층 신경망을 훈련하기 위한 확장 가능한 베이지안 학습 알고리즘인 평균장 베이지안 역전파(Mean Field Bayes Backpropagation, MFB-BackProp)를 제안한다. 평균장 근사와 큰 팬인 가정을 결합함으로써, MNIST에서 실수값 네트워크와 유사한 성능를 달성하면서도 최소한의 계산 오버헤드로 효율적인 하드웨어 구현을 가능하게 한다.

ABSTRACT

Significant success has been reported recently using deep neural networks for classification. Such large networks can be computationally intensive, even after training is over. Implementing these trained networks in hardware chips with a limited precision of synaptic weights may improve their speed and energy efficiency by several orders of magnitude, thus enabling their integration into small and low-power electronic devices. With this motivation, we develop a computationally efficient learning algorithm for multilayer neural networks with binary weights, assuming all the hidden neurons have a fan-out of one. This algorithm, derived within a Bayesian probabilistic online setting, is shown to work well for both synthetic and real-world problems, performing comparably to algorithms with real-valued weights, while retaining computational tractability.

연구 동기 및 목표

• 이진 시냅스 가중치를 가진 다층 신경망을 위한 확장 가능하고 베이지안 기반의 학습 알고리즘을 개발하기 위해.
• 크기가 큰 이진가중치 네트워크에서 정확한 베이지안 추론의 계산 비용이 과도한 문제를 해결하기 위해.
• 분류 정확도를 저하시키지 않은 채로 이진 가중치 제약 조건을 통해 훈련된 네트워크의 효율적인 하드웨어 구현을 가능하게 하기 위해.
• 이전에 단일층 네트워크에 국한되었던 근사 베이지안 방법을 다층 구조로 일반화하기 위해.
• 파rameter-free인 온라인 학습 알고리즘을 사용하여 이진가중치 네트워크가 실수값 네트워크와 유사한 성능를 달성할 수 있음을 보여주기 위해.

제안 방법

• 계산 가능성을 확보하기 위해 후행 분포 근사를 인용한 요소 분해된 후행 분포(평균장) 하에 온라인 베이지안 업데이트 규칙을 유도한다.
• 신경망 입력을 정규분포로 근사하기 위해 큰 팬인 가정을 적용함으로써 후행 업데이트의 해석적 계산을 가능하게 한다.
• 암함수 불변성과 학습 동역학의 안정성을 유지하기 위해 포화 활성화 함수(tanh)를 사용한다.
• 베이지안 원리에서 유도된 파rameter-free 학습 규칙을 적용하며, 초기 조건이 유일한 하이퍼파ram터가 된다.
• 모든 은닉 뉴런의 팬아웃이 1인 수렴형 네트워크 아키텍처로 알고리즘을 적응시켜 후행 업데이트의 구조를 단순화한다.
• 표준 역전파와 유사한 유사성에 기반을 두되, 원칙적인 베이지안 프레임워크를 유지하면서 가중치 업데이트 동역학과 정규화 방식에서 차이를 둔다.

실험 결과

연구 질문

• RQ1 이진 가중치를 가진 다층 신경망을 위한 확장 가능하고 완전한 베이지안 학습 알고리즘을 개발할 수 있는가?
• RQ2 큰 팬인 가정과 함께 평균장 근사가 이진가중치 네트워크에서 효과적인 학습을 가능하게 하는가, 즉 이러한 가정이 위반되더라도 성능이 유지되는가?
• RQ3 이 방법으로 훈련된 이진가중치 네트워크가 표준 벤치마크에서 실수값 네트워크와 유사한 분류 성능를 달성할 수 있는가?
• RQ4 제안된 알고리즘이 계산적으로 효율적이며 최소 정밀도 요구 사항으로 하드웨어에 구현 가능한가?
• RQ5 단일층 네트워크를 초월해 이진가중치를 가진 깊은 아키텍처로까지 확장 가능한 베이지안 프레임워크를 확장할 수 있는가?

주요 결과

• MFB-BackProp 알고리즘은 유사한 크기의 실수값 다층 네트워크와 비교해 MNIST 데이터셋에서 유사한 테스트 오차율을 달성하여 강력한 일반화 성능를 입증한다.
• 완전히 연결된 단일층 네트워크(785×10)의 경우 이진가중치 버전이 29%의 테스트 오차율을 기록했으며, 이는 클리핑된 역전파 기반 베이스라인보다 뚜렷이 뛰어나며, 제안된 방법으로 훈련할 경우 이진가중치가 성능 저하를 야기하지 않음을 시사한다.
• 작은 팬인을 가진 합성 티처-스터디 시나리오에서도 알고리즘이 잘 작동하여 큰 팬인 가정 위반에 대한 강건성을 입증한다.
• 알고리즘은 가중치 수에 비례하는 선형 복잡도를 가지며, 표준 역전파와 동일한 계산 복잡도를 가지며, 초기 사전 확률 이외에는 완전히 파rameter-free이다.
• 이 알고리즘은 몬테카를로 샘플링을 피하는 첫 번째 확장 가능한 다층 네트워크를 위한 베이지안 훈련 방법으로, 대규모 응용에 적합하다.
• 유도된 알고리즘이 기존의 단일층 이진 네트워크에 대한 알려진 온라인 학습 규칙과 유사함을 보이며, 일관성과 더 깊은 아키텍처로의 확장 가능성 잠재력을 시사한다.