[논문 리뷰] Training Competitive Binary Neural Networks from Scratch

Joseph Bethge, Marvin Bornstein외 3명|arXiv (Cornell University)|2018. 12. 05.

Advanced Neural Network Applications참고 문헌 15인용 수 31

한 줄 요약

이 논문은 사전에 훈련된 정밀도가 높은 모델에 의존하지 않고 MNIST, CIFAR-10, ImageNet에서 최신 기준 성능을 달성하는 이진 신경망(BNNs)을 위한 새로운 훈련 전략을 제안한다. 농축된 단절 연결, 잔차 연결의 증가, 그리고 정밀도가 높은 다운샘플링 레이어를 활용함으로써, 저자들은 BNN이 사전 훈련 없이도 기존 방법, 특히 BiReal-Net을 능가하는 성능을 내는 것을 입증한다. 이 중에서 모델 크기가 유사한 조건에서 ImageNet에서 2.2%의 정확도 향상을 기록한다.

ABSTRACT

Convolutional neural networks have achieved astonishing results in different application areas. Various methods that allow us to use these models on mobile and embedded devices have been proposed. Especially binary neural networks are a promising approach for devices with low computational power. However, training accurate binary models from scratch remains a challenge. Previous work often uses prior knowledge from full-precision models and complex training strategies. In our work, we focus on increasing the performance of binary neural networks without such prior knowledge and a much simpler training strategy. In our experiments we show that we are able to achieve state-of-the-art results on standard benchmark datasets. Further, to the best of our knowledge, we are the first to successfully adopt a network architecture with dense connections for binary networks, which lets us improve the state-of-the-art even further.

연구 동기 및 목표

• 사전에 훈련된 정밀도가 높은 모델이 필요 없는 이진 신경망을 위한 훈련 전략을 개발하는 것.
• 특히 농축된 단절 연결을 통한 아키텍처 혁신을 통해 이진 신경망의 정확도를 향상시키는 것.
• 정밀도가 높은 다운샘플링 레이어와 잔차 연결 수 증가 등의 아키텍처 선택이 BNN 성능에 미치는 영향을 평가하는 것.
• 간단한 최적화 전략을 사용하여 고정밀도 BNN을 사전 훈련 없이 훈련시킬 수 있음을 입증하는 것.
• 복잡한 미세조정 없이도 표준 벤치마크에서 이진 신경망의 새로운 최고 기록을 수립하는 것.

제안 방법

• 저자들은 표준 잔차 연결을 대체하여 특징 재사용을 향상시키기 위해 농축된 스킵 연결을 사용하는 이진 신경망 아키텍처(DenseNetE)를 제안한다.
• 이전 연구에서 사용된 이진 다운샘플링과 대비하여, 특징 맵 감소 과정에서 정보 손실을 방지하기 위해 정밀도가 높은 다운샘플링 레이어를 도입한다.
• 맞춤형 기울기 근사나 스케일링 인자 없이 표준 확률적 경사 하강법을 사용하는 훈련 전략을 적용하며, 단순한 종단 간 훈련 파이프라인에 의존한다.
• 정밀도가 높은 모델에 대한 지식 없이 무작위 초기화 상태에서 훈련을 수행하며, 이진 가중치와 활성화만을 기반으로 한다.
• 정확도에 미치는 영향을 분리하기 위해 아키텍처 구성 요소(예: 연결 수, 레이어 유형 등)를 체계적으로 분석한다.
• 모델 크기와 정확도를 주요 평가 지표로 사용하여 ResNetE 및 DenseNetE 변종에서 본 방법을 비교한다.

실험 결과

연구 질문

• RQ1 사전에 훈련된 정밀도가 높은 모델을 사용하지 않고도 이진 신경망이 사전 훈련 없이 최신 기준 성능을 달성할 수 있는가?
• RQ2 단절 연결의 수를 늘리면 이진 신경망의 성능에 어떤 영향을 미치는가?
• RQ3 이진 다운샘플링과 비교해 정밀도가 높은 다운샘플링 레이어를 사용할 경우 이진 신경망에 어떤 영향을 미치는가?
• RQ4 농축 연결 아키텍처가 이진 신경망에 성공적으로 적용되어 정확도 향상에 기여할 수 있는가?
• RQ5 복잡한 미세조정 방법과 비교해 본 훈련 전략은 정확도와 모델 효율성 측면에서 어떻게 다른가?

주요 결과

• 제안된 DenseNetE-21 모델은 ImageNet에서 58.6%의 top-1 정확도를 달성하여, 모델 크기가 유사한 BiReal-Net-18보다 2.2% 높은 성능을 기록한다. 모델 크기는 3.99 MB이다.
• 정밀도가 높은 다운샘플링 레이어를 사용할 경우, 성장률 128인 이진 DenseNet-21에서 CIFAR-10 정확도가 2.7% 향상되어 87.6%에서 90.3%로 상승한다. 이는 모델 크기가 673 KB에서 1.49 MB로 증가함에도 불구하고 성립한다.
• 스케일링 인자나 맞춤형 기울기 계산 없이도 단순한 훈련 전략만으로도 ImageNet과 CIFAR-10에서 최신 기준 성능을 달성한다.
• 농축 연결과 정밀도가 높은 다운샘플링 레이어를 사용한 모델은 특히 ImageNet과 같은 대규모 데이터셋에서 이진 신경망과 정밀도가 높은 신경망 간 정확도 격차를 줄인다.
• ABC-Net에 비해 ResNet-18 및 ResNet-34에서 사전 훈련 없이도 더 높은 정확도를 달성함으로써, BNN에서 고정밀도를 달성하기 위해 사전 훈련이 필수는 아님을 보여준다.
• 결과적으로 농축 연결과 정밀도가 높은 다운샘플링과 같은 아키텍처 혁신이 복잡한 훈련 기술보다 BNN 정확도 향상에 더 효과적임을 입증한다.