[논문 리뷰] Regularizing Activation Distribution for Training Binarized Deep Networks

Ruizhou Ding, Ting-Wu Chin외 2명|arXiv (Cornell University)|2019. 04. 04.

Advanced Neural Network Applications참고 문헌 44인용 수 20

한 줄 요약

이 논문은 1비트 가중치와 활성화를 갖는 이진화 신경망(BNNs)에서 활성화 분포를 정규화하기 위한 분포 손실을 제안한다. 이는 에너지 효율성을 희생시키지 않은 채 학습 안정성과 정확도를 향상시킨다. 비정상적이고 포화 상태이거나 잘 활성화되지 않은 채널을 명시적으로 페널티 처리함으로써, 다양한 최적화기와 하이퍼파라미터에서도 견고한 학습을 가능하게 하며, 1비트 가중치와 활성화를 사용할 때 ImageNet에서 최신 기준 정확도를 달성한다.

ABSTRACT

Binarized Neural Networks (BNNs) can significantly reduce the inference latency and energy consumption in resource-constrained devices due to their pure-logical computation and fewer memory accesses. However, training BNNs is difficult since the activation flow encounters degeneration, saturation, and gradient mismatch problems. Prior work alleviates these issues by increasing activation bits and adding floating-point scaling factors, thereby sacrificing BNN's energy efficiency. In this paper, we propose to use distribution loss to explicitly regularize the activation flow, and develop a framework to systematically formulate the loss. Our experiments show that the distribution loss can consistently improve the accuracy of BNNs without losing their energy benefits. Moreover, equipped with the proposed regularization, BNN training is shown to be robust to the selection of hyper-parameters including optimizer and learning rate.

연구 동기 및 목표

• 활성화 분해, 포화, 기울기 불일치로 인해 1비트 가중치와 활성화를 갖는 BNN 학습이 어려운 문제를 해결한다.
• 네트워크 폭을 증가시키거나 부동소수점 스케일링 인자를 사용하는 기존 접근법의 한계를 극복하여 에너지 효율성을 감소시키지 않는다.
• 활성화 분포를 명시적으로 형상화하여 학습 불안정성을 방지하는 기울기 가능하고 학습 가능한 정규화 메커니즘을 개발한다.
• 제안된 방법이 순수 논리 연산과 최소한의 메모리 프로파일을 유지하면서도 BNN 정확도를 향상시킬 수 있음을 입증한다.

제안 방법

• 목표로 하는 잘 조율된 형태(예: 중심이 0에 위치하고 양/음의 비율이 균형 잡힌 형태)에서 벗어나는 활성화 분포를 페널티 처리하는 분포 손실 $ L_D $ 를 수립한다.
• 기울기 가능 근사치를 사용한 매끄러운 히스토그램 기반 추정을 통해 활성화 분포의 근사치를 도입함으로써, 손실을 통한 역전파를 가능하게 한다.
• 하이퍼파rameter $ \\-lambda \$ 를 통해 표준 분류 손실과 분포 손실을 조합하여 정규화와 정확도 사이의 균형을 맞춘다.
• 역전파 동안 손실을 적용하여 채널별 활성화가 분해(일정 출력), 포화(기울기 0), 기울기 불일치(나쁜 STE 근사)를 피하도록 유도한다.
• 학습 안정성을 높이기 위해 사전 활성화 배치 정규화와 ReLU 기반 구조를 사용하며, 분포 손실은 활성화 흐름에 대한 정규화 기능을 수행한다.
• 전체 손실 함수가 기울기 가능하도록 보장하여, 분포 손실을 통해 기울기가 네트워크 가중치로 흐르도록 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 명시적인 활성화 분포 정규화가 1비트 가중치와 활성화를 갖는 BNN의 학습 안정성과 정확도를 향상시킬 수 있는가?
• RQ2 제안된 분포 손실이 이진화 네트워크에서 분해, 포화, 기울기 불일치를 줄이는가?
• RQ3 부동소수점 연산을 도입하거나 네트워크 폭을 증가시키지 않으면서도 이 방법이 BNN 정확도를 향상시킬 수 있는가?
• RQ4 최적화기, 학습률 및 기타 하이퍼파라미터의 변화에 대해 분포 손실의 견고성은 어떠한가?
• RQ5 이 정규화 효과가 VGG 스타일 및 잔차 네트워크를 포함한 다양한 네트워크 아키텍처에서 유지되는가?

주요 결과

• 제안된 분포 손실은 CIFAR-10에서 BNN 정확도를 크게 향상시켰으며, $ \\-lambda = 0.2 $ 일 때 90.12%의 top-1 정확도를 달성했고, 기준 BNN은 87.39%였다.
• ImageNet에서 이 방법은 1비트 가중치와 활성화를 사용할 때 최신 기준 정확도인 44.1%의 top-1 정확도를 달성했으며, 이는 이전 최신 기술을 능가했다.
• 분포 손실은 활성화 분해를 감소시켰다: 히스토그램 분석 결과, 일정 출력을 내는 채널 수가 줄었고, 양의 비율이 더 균형 잡혔다.
• 분포 손실을 사용한 BNN은 최적화기 선택에 대해 매우 견고하다. Adam, SGD with momentum, Nesterov, RMSprop 모두 일관된 향상을 보였다.
• $ \\-lambda \$ 값의 범위가 넓은(0.2에서 2000까지) 범위에서도 정확도가 기준 수준을 일관되게 초월했으며, 이는 정규화 강도에 대해 낮은 민감도를 보임을 시사한다.
• 분포 손실은 초기 학습 단계에서 빠르게 감쇠되었으며, 이는 활성화 분포의 신속한 안정화를 의미한다. 이는 빠른 수렴과 더 나은 일반화와 관련이 있다.