[논문 리뷰] Regularized Binary Network Training

Sajad Darabi, Mouloud Belbahri외 2명|arXiv (Cornell University)|2018. 12. 31.

Advanced Neural Network Applications참고 문헌 13인용 수 7

한 줄 요약

이 논문은 기존의 직선형 추정기(Straight-Through Estimator)보다 더 나은 기울기 근사화를 위해 새로운 SignSwish 활성화 함수를 도입하고, ±1 근처의 가중치를 장려하는 학습 가능한 정규화 함수, 그리고 각 레이어별로 학습 가능한 스케일링 인자들을 도입함으로써 수렴성과 정확도를 향상시키는 정규화된 이진 신경망 학습 방법을 제안한다. 이 방법은 ImageNet에서 최신 기술 성능(SOTA)을 달성하여 AlexNet 기준으로 46.1%의 정확도를 기록했으며, ResNet-18 기준으로는 53.0%의 정확도를 달성하였다.

ABSTRACT

There is a significant performance gap between Binary Neural Networks (BNNs) and floating point Deep Neural Networks (DNNs). We propose to improve the binary training method, by introducing a new regularization function that encourages training weights around binary values. In addition, we add trainable scaling factors to our regularization functions. Additionally, an improved approximation of the derivative of the sign activation function in the backward computation. These modifications are based on linear operations that are easily implementable into the binary training framework. Experimental results on ImageNet shows our method outperforms the traditional BNN method and XNOR-net.

연구 동기 및 목표

• 자원 제약이 있는 장치에서 이진 신경망(BNNs)과 정밀도가 높은 딥 네트워크(DNNs) 간의 성능 격차를 해소하기 위해.
• 백프로파게이션 과정에서 ±1 근처에서 기울기 포화 현상이 발생함으로써 발생하는 BNN 학습의 불안정성과 수렴성 열악함을 해결하기 위해.
• 새로운 정규화 함수를 통해 가중치가 ±1로 수렴하도록 유도함으로써 이진 네트워크의 일반화 및 강인성을 향상시키기 위해.
• 경직된 이진화로 인한 정확도 저하 문제를 완화하기 위해 각 레이어 또는 필터별로 학습 가능한 스케일링 인자를 도입하기 위해.

제안 방법

• Swish에서 유도된 미분 가능하고 유계인 활성화 함수인 SignSwish(SSFish)를 도입하며, ±1 근처에서 기울기 흐름을 향상시키기 위해 학습 가능한 스케일 β를 포함한다.
• 가중치가 ±1으로 수렴하도록 장려하기 위해 새로운 정규화 함수 R₁(w) = |α − |w|| (맨하탄) 및 R₂(w) = (α − |w|)² (유클리드)를 제안한다. 여기서 α는 각 레이어별로 학습 가능한 스케일이다.
• 정규화 항을 총 손실 함수에 통합하여 J(W,b) = L(W,b) + λₜ∑ₕ R(Wₕ,αₕ)로 정의함으로써 가중치와 스케일링 인자를 동시에 최적화할 수 있도록 한다.
• R₁과 R₂ 각각에 대해 |W|의 중앙값 또는 평균을 α*의 초기화 값으로 사용하여 정규화 목적과 일치하도록 보장한다.
• 활성화 함수 이전에 배치 정규화를 적용하고, 첫 번째 및 마지막 레이어는 정밀도를 유지하여 정확도를 보존한다. 이는 이전의 BNN 방법들과 일관되게 유지된다.
• 비교 실험에서는 고정된 β 값을 사용하며, β를 조정하여 기울기 포화 지점을 제어함으로써 학습 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 기존의 표준 직선형 추정기와 비교해 볼 때, 학습 가능한 유계 활성화 함수는 이진 신경망에서 기울기 근사화를 향상시킬 수 있는가?
• RQ2 ±1에서의 이탈을 처벌하는 정규화 함수는 이진 네트워크 학습의 수렴성과 정확도 향상에 기여하는가?
• RQ3 각 레이어 또는 필터별로 학습 가능한 스케일링 인자를 도입하면, 경직된 이진화로 인한 정확도 손실을 완화할 수 있는가?
• RQ4 개선된 기울기 근사화, 정규화, 스케일링 인자들의 조합이 기존의 BNN 방법들과 비교해 ImageNet에서 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 AlexNet 기반으로 ImageNet에서 46.1%의 상위-1 정확도를 달성하였으며, XNOR-Net(44.2%) 및 BinaryNet(41.2%)를 모두 초월하였다.
• ResNet-18 기반으로는 53.0%의 상위-1 정확도를 기록하였으며, XNOR-Net(51.2%) 및 BinaryNet(42.2%)를 모두 능가하였다.
• β=10인 SignSwish 사용 시 최고의 성능를 기록하였으며, 표준 STE 대비 ±1 근처에서 더 나은 기울기 흐름을 확보함을 입증하였다.
• R₁ 정규화와 SignSwish(β=10)의 조합이 두 아키텍처에서 모두 최고의 정확도를 기록하였으며, ±1 근처에서의 가중치 클러스터링이 효과적으로 이루어졌음을 시사한다.
• 비교 실험 결과, SignSwish, 정규화, 스케일링 인자 세 가지 요소가 상호 보완적으로 기여하여 성능 향상을 이끌어냈다.
• 첫 번째 및 마지막 레이어를 정밀도 유지함에도 불구하고 높은 성능 유지를 유지하였으며, 이는 이전 BNN 기법과의 일관성을 확보하고 안정성을 확인시켰다.