[논문 리뷰] BinaryConnect: Training Deep Neural Networks with binary weights during propagations

Matthieu Courbariaux, Yoshua Bengio외 1명|PolyPublie (École Polytechnique de Montréal)|2015. 11. 02.

Advanced Neural Network Applications참고 문헌 44인용 수 1,829

한 줄 요약

BinaryConnect는 순전파 및 역전파 중에 이진 가중치(+1 또는 -1)를 사용하여 딥 네ural 네트워크를 훈련시키지만, 기울기 누적을 위해 정밀도가 높은 가중치를 유지합니다. 이 방법은 MNIST, CIFAR-10 및 SVHN에서 최신 기술 수준에 가까운 정확도를 달성하여, 고정밀도 기울기 업데이트를 갖춘 이진 가중치가 정확도 손실가장 최소화되는 특수 하드웨어에 적합한 효율적인 훈련을 가능하게 함을 보여줍니다.

ABSTRACT

Deep Neural Networks (DNN) have achieved state-of-the-art results in a wide range of tasks, with the best results obtained with large training sets and large models. In the past, GPUs enabled these breakthroughs because of their greater computational speed. In the future, faster computation at both training and test time is likely to be crucial for further progress and for consumer applications on low-power devices. As a result, there is much interest in research and development of dedicated hardware for Deep Learning (DL). Binary weights, i.e., weights which are constrained to only two possible values (e.g. -1 or 1), would bring great benefits to specialized DL hardware by replacing many multiply-accumulate operations by simple accumulations, as multipliers are the most space and power-hungry components of the digital implementation of neural networks. We introduce BinaryConnect, a method which consists in training a DNN with binary weights during the forward and backward propagations, while retaining precision of the stored weights in which gradients are accumulated. Like other dropout schemes, we show that BinaryConnect acts as regularizer and we obtain near state-of-the-art results with BinaryConnect on the permutation-invariant MNIST, CIFAR-10 and SVHN.

연구 동기 및 목표

• 전방 및 역방향 전파 중에 이진 가중치를 사용함으로써 저전력 장치에서 딥 네ural 네트워크의 효율적인 훈련과 추론을 가능하게 하기.
• 곱셉-합산 연산을 단순한 덧셈으로 대체함으로써 계산 복잡도와 하드웨어 비용을 감소시키기.
• 고정밀도 기울기 누적을 통해 이진 가중치 제약 조건에도 불구하고 높은 모델 정확도를 유지하기.
• 이진 가중치가 정규화 역할을 하는지 여부를 탐색하여 딥 네트워크의 일반화 성능 향상 여부를 평가하기.
• 전파 중에 전체 정밀도 가중치 업데이트 없이도 이진 가중치로 훈련하는 것이 가능한지 표준 비전 벤치마크에서 입증하기.

제안 방법

• BinaryConnect는 순전파 및 역전파 중에 가중치를 ±1로 제약하여 곱셈-합산 연산을 덧셈으로 대체합니다.
• 실수형으로 저장된 가중치는 고정밀도 형식으로 누적된 기울기를 사용하여 확률적 경사 하강법으로 업데이트됩니다.
• 이진화는 결정론적 부호 함수를 통해 수행됩니다: w_b = sign(w), 여기서 w는 실수형 가중치입니다.
• 이 방법은 확률적 경사 하강법의 노이즈 내성에 기반하여, 가중치 이산화가 정규화의 한 형태로 작용합니다.
• 기울기는 이진 가중치를 사용하여 계산되고 역전파되지만, 저장된 가중치는 전체 정밀도 기울기를 사용하여 업데이트됩니다.
• 이 방법은 배치 정규화 및 ADAM과 같은 최적화 방법과 호환되며, Theano와 Pylearn2를 사용하여 구현되었습니다.

실험 결과

연구 질문

• RQ1 전방 및 역방향 전파 중에 오직 이진 가중치만을 사용하여 딥 네ural 네트워크를 효과적으로 훈련시킬 수 있는가?
• RQ2 추론 및 백프로파게이션 중에 이진 가중치를 사용할 경우 정규화 역할을 하여 일반화 성능을 향상시키는가?
• RQ3 전체 정밀도 곱셈-합산 연산을 이진 덧셈으로 대체할 경우 모델 정확도가 어느 정도 유지될 수 있는가?
• RQ4 정확도와 하드웨어 효율성 측면에서 이진 가중치와 터너리 가중치 또는 기대값 백프로파게이션과 같은 다른 양자화 방법에 비해 BinaryConnect는 어떻게 비교되는가?
• RQ5 이 방법은 성능 저하 없이 컨볼루션 네트워크 및 CIFAR-10, SVHN과 같은 더 큰 데이터셋으로 확장될 수 있는가?

주요 결과

• BinaryConnect는 순열 불변 MNIST에서 테스트 오차율 1.44%를 달성하여 최신 기술 수준에 근접합니다.
• CIFAR-10에서 BinaryConnect는 테스트 오차율 12.0%를 기록하여 이진 가중치 방법 중 최신 기술 수준에 가까운 성능을 보입니다.
• SVHN에서 이 방법은 테스트 오차율 11.7%를 기록하여 더 복잡한 데이터셋에서도 뛰어난 성능을 보입니다.
• 훈련 중 곱셈의 수를 약 2/3 감소시켜 계산 효율성을 크게 향상시킵니다.
• 전파 중 이진 가중치 사용과 고정밀도로 저장된 가중치의 조합은 안정적인 훈련과 양호한 일반화를 가능하게 합니다.
• 이 방법은 배치 정규화, ReLU 활성화 함수 및 ADAM 최적화와 같은 표준 딥 러닝 기법과 호환됩니다.