[논문 리뷰] Training Binary Neural Networks using the Bayesian Learning Rule

Xiangming Meng, Roman Bachmann외 1명|arXiv (Cornell University)|2020. 02. 25.

Gaussian Processes and Bayesian Inference참고 문헌 35인용 수 16

한 줄 요약

이 논문은 이산 최적화 문제를 포함하는 이진 신경망(BiNNs)의 기울기 기반 학습에 대해 원리적인 정당성을 제공하는 베이지안 학습 규칙 기반 방법인 BayesBiNN을 제안한다. 이는 이론적으로 기초가 다진 기울기 기반 접근법인 직선 통과 추정기(STE)의 성공을 설명한다. 이중 가중치를 베르누이 분포로 모델링하고 근사 베이지안 추론을 사용함으로써, BayesBiNN은 불확실성 추정을 가능하게 하고, CIFAR-10, CIFAR-100, MNIST에서 최신 기술 수준의 성능을 달성하며, 사전 분포를 기반으로 한 후행 분포를 통해 연속 학습에서 치명적인 잊음 문제를 효과적으로 완화한다.

ABSTRACT

Neural networks with binary weights are computation-efficient and hardware-friendly, but their training is challenging because it involves a discrete optimization problem. Surprisingly, ignoring the discrete nature of the problem and using gradient-based methods, such as the Straight-Through Estimator, still works well in practice. This raises the question: are there principled approaches which justify such methods? In this paper, we propose such an approach using the Bayesian learning rule. The rule, when applied to estimate a Bernoulli distribution over the binary weights, results in an algorithm which justifies some of the algorithmic choices made by the previous approaches. The algorithm not only obtains state-of-the-art performance, but also enables uncertainty estimation for continual learning to avoid catastrophic forgetting. Our work provides a principled approach for training binary neural networks which justifies and extends existing approaches.

연구 동기 및 목표

• 이진 신경망(BiNNs)의 기울기 기반 학습에 대해 원리적인 정당성이 부족한 문제를 해결하기 위해.
• STE 및 Bop와 같은 기존 접근법의 알고리즘적 선택을 잘 정의된 베이지안 최적화 프레임워크를 통해 이론적으로 근거를 부여하는 방법을 개발하기 위해.
• 이중 가중치에 대한 후행 분포 근사를 통해 불확실성 추정을 가능하게 함으로써 BiNNs를 연속 학습에 확장하기 위해.
• 계산 효율성을 유지하면서도 표준 벤치마크에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 이 방법은 이진 가중치를 베르누이 분포로 모델링하고, 이중 가중치에 대한 후행 분포를 근사하기 위해 베이지안 학습 규칙을 적용한다.
• 기울기 흐름을 가능하게 하기 위해, 부드럽게 근사된 시그moid 함수를 사용하여 부호 함수를 미분 가능하게 한다.
• 알고리즘은 베이지안 학습 규칙에 기반한 변분 추론 프레임워크를 사용하여 후행 분포의 확률적 근사를 수행한다.
• 주요 혁신은 연속 학습에서 이전 작업의 후행 분포를 다음 작업의 사전 분포로 사용하는 것이다. 이는 불확실성 인식 기반의 적응을 가능하게 한다.
• 실수 값 매개변수의 갱신 규칙에는 척도 항(s)이 포함되어 있으며, 이는 적응형 학습률처럼 작용하여 수렴을 향상시킨다.
• 이 방법은 문제를 이산 최적화에서 연속적이고 확률적인 추론 과제로 완화함으로써 이산 최적화를 피한다.

실험 결과

연구 질문

• RQ1 기울기 기반 방법(STE 등)의 성공을 원리적인 베이지안 프레임워크로 설명할 수 있는가?
• RQ2 불확실성 추정은 어떻게 이진 신경망 훈련에 통합되어 연속 학습 성능를 향상시킬 수 있는가?
• RQ3 기존 방법(STE 및 Bop 등)의 알고리즘적 선택은 무엇이며, 베이지안 추론을 통해 이론적으로 근거를 부여할 수 있는가?
• RQ4 이진 가중치에 대한 후행 분포를 사용하여 연속 학습에서 치명적인 잊음 문제를 완화할 수 있는가?

주요 결과

• BayesBiNN은 CIFAR-10, CIFAR-100, MNIST에서 최신 기술 수준의 성능를 달성하며, Adam을 사용한 STE와 유사하거나 略적으로 뛰어나다.
• 이 방법은 이중 가중치에 대한 후행 분포를 통해 불확실성 추정을 가능하게 하며, 더 많은 작업을 학습할수록 분포가 더 집중되어 불확실성이 감소함을 보여준다.
• 퍼미uted MNIST에서의 연속 학습에서, 이전 작업의 후행 분포를 사전 분포로 사용할 경우 치명적인 잊음 현상이 크게 감소하며, 고정된 사전 분포보다 뛰어난 성능를 보였다.
• 가중치 확률의 히스토그램은 시간이 지남에 따라 엔트로피가 감소함을 보여주며, 경험을 통해 가중치가 더 결정적으로 변하는 경향을 반영한다. 이는 불확실성이 감소함을 의미한다.
• 후행 분포 근사를 사전 분포로 사용할 경우 모든 작업에서 안정적인 성능를 유지하지만, 고정된 사전 분포를 사용할 경우 이전 작업에서 성능 저하가 급격히 발생한다.