[논문 리뷰] Training Binary Multilayer Neural Networks for Image Classification using Expectation Backpropagation

Zhiyong Cheng, Daniel Soudry외 2명|arXiv (Cornell University)|2015. 03. 12.

Neural Networks and Applications참고 문헌 7인용 수 41

한 줄 요약

이 논문은 이미지 분류를 위한 이진 다층 신경망(BMNNs)을 훈련시키기 위해 기대값 역전파(EBP)를 사용하는 것을 제안하며, 효율적인 하드웨어 구현을 가능하게 한다. MNIST 데이터셋에서 EBP는 이진 가중치를 사용할 경우 2.12%의 테스트 오차를 기록하고, 실수 가중치를 사용할 경우 1.66%의 테스트 오차를 기록하여 표준 역전파 알고리즘을 사용한 실수값 네트워크와 비교해 경쟁 가능한 성능을 보였다.

ABSTRACT

Compared to Multilayer Neural Networks with real weights, Binary Multilayer Neural Networks (BMNNs) can be implemented more efficiently on dedicated hardware. BMNNs have been demonstrated to be effective on binary classification tasks with Expectation BackPropagation (EBP) algorithm on high dimensional text datasets. In this paper, we investigate the capability of BMNNs using the EBP algorithm on multiclass image classification tasks. The performances of binary neural networks with multiple hidden layers and different numbers of hidden units are examined on MNIST. We also explore the effectiveness of image spatial filters and the dropout technique in BMNNs. Experimental results on MNIST dataset show that EBP can obtain 2.12% test error with binary weights and 1.66% test error with real weights, which is comparable to the results of standard BackPropagation algorithm on fully connected MNNs.

연구 동기 및 목표

• 다중 클래스 이미지 분류를 위한 기대값 역전파(EBP) 알고리즘을 사용해 이진 다층 신경망(BMNNs)을 훈련시키는 것이 가능한지 조사하는 것.
• 깊이와 넓이를 포함한 다양한 네트워크 아키텍처에서 MNIST 데이터셋에서 EBP를 사용한 BMNN의 성능을 평가하는 것.
• 드롭아웃과 공간 필터링과 같은 정규화 기법이 EBP를 사용한 BMNN 성능에 미치는 영향을 검토하는 것.
• EBP로 훈련된 이진 가중치를 가진 BMNN의 성능을 실수값 MNN와 비교하여 효율성과 정확성의 상호 간 상충 관계를 평가하는 것.

제안 방법

• EBP는 베이지안 프레임워크 내에서 온라인 학습을 수행하기 위해 적용되며, 가중치의 사후 분포를 평균장 근사법을 사용해 갱신한다.
• 알고리즘은 가중치에 대한 사후 분포를 인수분해하기 위해 평균장 근사를 사용하여 계산 가능해지는 온라인 업데이트를 가능하게 한다: $\hat{P}(\mathcal{W}|D_n) \propto \hat{P}(\mathbf{y}^{(n)}|\mathbf{x}^{(n)}, W_{ij,l}, D_{n-1}) \hat{P}(W_{ij,l}|D_{n-1})$.
• 이진 가중치는 부호 활성화 함수를 통해 강제로 구현된다: $\mathbf{v}_l = \text{sign}(\mathbf{W}_l \mathbf{v}_{l-1})$로, 추론 시 모든 가중치가 ±1이 되도록 보장한다.
• 드롭아웃은 훈련 중에 고정 확률로 은닉 유닛을 무작위로 마스킹함으로써 BMNN의 일반화 성능을 향상시킨다.
• 공간 필터링은 1차원 입력 벡터를 2차원 이미지 격자(예: 28×28)로 재구성함으로써 탐색되며, 국소적 수용장에 의해 공간적 구조를 모델링할 수 있도록 한다.
• 네트워크는 이진 가중치(B-EBP)와 실수 가중치(R-EBP)를 모두 사용해 EBP로 훈련되며, 드롭아웃 여부(-D)에 따라 구분되며, 테스트 오차를 기준으로 평가된다.

실험 결과

연구 질문

• RQ1 EBP는 MNIST 데이터셋에서 다중 클래스 이미지 분류를 위한 BMNN을 효과적으로 훈련시킬 수 있는가?
• RQ2 네트워크의 깊이(1개의 은닉층 대비 2개의 은닉층)는 EBP로 훈련된 BMNN의 성능에 어떤 영향을 미치는가?
• RQ3 드롭아웃은 EBP로 훈련된 BMNN에서 일반화 성능을 얼마나 향상시키는가?
• RQ4 2차원 입력 재구성(공간 구조 통합)을 통해 BMNN의 분류 정확도가 향상되는가?
• RQ5 EBP로 훈련된 BMNN의 성능은 동일한 작업에서 EBP로 훈련된 실수값 MNN와 비교해 어떻게 다른가?

주요 결과

• EBP는 이진 가중치를 사용할 경우 MNIST에서 2.12%의 테스트 오차를 기록하여, 최소한의 계산 비용으로도 강력한 성능을 달성할 수 있음을 보여준다.
• 실수 가중치를 사용할 경우 EBP는 1.66%의 테스트 오차를 기록하며, 완전 연결된 MNN에서 표준 역전파 알고리즘의 성능과 유사함을 입증한다.
• 두 은닉층을 가진 BMNN가 한 은닉층을 가진 네트워크보다 성능이 뛰어나며, 깊이 있는 아키텍처가 EBP를 통해 이진 설정에서 유의미한 이점을 얻을 수 있음을 시사한다.
• 드롭아웃은 일반화 성능을 크게 향상시킨다: 예를 들어 [400,400] 설정에서 B-EBP-D는 B-EBP-P 대비 오차를 2.39%에서 2.12%로 감소시켰다.
• 공간 필터링은 실수 가중치 네트워크에서는 성능 향상을 이끌어내지만(예: R-EBP-P는 225개 유닛에서 2.03%의 오차 기록), 이진 가중치 네트워크에서는 성능 저하를 초래한다(최고의 B-EBP-P는 3.56%의 오차 기록).
• 드롭아웃을 적용할 경우 이진 가중치 네트워크와 실수 가중치 네트워크 간의 성능 격차가 감소함을 확인하여, 정규화 기법이 이진 가중치의 표현 한계를 완화하는 데 기여함을 시사한다.