[논문 리뷰] How Do Adam and Training Strategies Help BNNs Optimization?

Zechun Liu, Zhiqiang Shen외 4명|arXiv (Cornell University)|2021. 06. 21.

Advanced Neural Network Applications인용 수 26

한 줄 요약

이 논문은 Binary Neural Networks(BNNs)에서 Adam이 SGD보다 왜 더 우수한지 분석하고, 동일 아키텍처에서 가중치 감소(weight decay) 기반의 학습 스킴을 도입하여 간단한 두 단계 학습 방식으로 ImageNet top-1 정확도를 70.5%로 끌어올리는 방법을 제시한다.

ABSTRACT

The best performing Binary Neural Networks (BNNs) are usually attained using Adam optimization and its multi-step training variants. However, to the best of our knowledge, few studies explore the fundamental reasons why Adam is superior to other optimizers like SGD for BNN optimization or provide analytical explanations that support specific training strategies. To address this, in this paper we first investigate the trajectories of gradients and weights in BNNs during the training process. We show the regularization effect of second-order momentum in Adam is crucial to revitalize the weights that are dead due to the activation saturation in BNNs. We find that Adam, through its adaptive learning rate strategy, is better equipped to handle the rugged loss surface of BNNs and reaches a better optimum with higher generalization ability. Furthermore, we inspect the intriguing role of the real-valued weights in binary networks, and reveal the effect of weight decay on the stability and sluggishness of BNN optimization. Through extensive experiments and analysis, we derive a simple training scheme, building on existing Adam-based optimization, which achieves 70.5% top-1 accuracy on the ImageNet dataset using the same architecture as the state-of-the-art ReActNet while achieving 1.1% higher accuracy. Code and models are available at https://github.com/liuzechun/AdamBNN.

연구 동기 및 목표

• BNN에서 Adam이 SGD보다 일반화 능력이 더 좋은 이유를 조사한다.
• 활성화 포화와 두 번째 모멘트 정규화가 BNN 최적화에 미치는 영향을 이해한다.
• 실수 값 잠재 가중치와 가중치 감소가 BNN 학습 안정성에 미치는 역할을 확인한다.
• 아키텍처를 바꾸지 않고도 성능을 향상시키는 실용적인 학습 전략을 제시한다.

제안 방법

• 동일 아키텍처를 사용하여 ImageNet 대규모 학습에서 Adam과 SGD를 비교한다.
• 이진화하에서 최적화 역학을 설명하기 위한 그래디언트 및 가중치 궤적 시각화를 수행한다.
• 안정성 및 초기화 의존성을 정량화하기 위한 지표(FF 비율과 C2I 비율)를 도입한다.
• 실수 값 잠재 가중치와 이진 가중치의 안정성에 대한 가중치 감소의 영향을 분석한다.
• 정확도를 향상시키기 위한 이단계 학습 스킴과 가중치 감소 전략을 제시하고, 최첨단 BNN과의 비교를 통해 검증한다.

실험 결과

연구 질문

• RQ1 ImageNet에서 이진 신경망 최적화에 대해 왜 Adam이 SGD보다 더 효과적인가?
• RQ2 활성화 포화와 두 번째 모멘트 정규화가 BNN에서 그래디언트 흐름과 가중치 업데이트에 어떤 영향을 미치는가?
• RQ3 가중치 감소가 BNN 최적화의 안정성 및 초기화 의존성에 미치는 영향은 무엇이며, 이를 통해 학습을 어떻게 개선할 수 있는가?

주요 결과

• Adam은 설정 전반에서 SGD보다 BNN에서 더 높은 top-1 정확도를 달성한다(예: 한 실험에서 61.49% vs 58.98%).
• 활성화 포화는 0 또는 소실된 그래디언트를 유발하며, Adam은 적응 학습률과 두 번째 모멘트 정규화를 통해 이를 완화한다.
• 실수 값의 잠재 가중치는 이진 부호에 대한 신뢰도 점수로 작용하며, Adam은 더 두꺼운 꼬리와 더 안정적이고 잘 훈련된 가중치 분포를 제공한다(SGD보다).
• 실수 값 잠재 가중치의 가중치 감소는 안정성과 초기화 의존성에 영향을 주며, 신중하게 조정된 이단계 학습 스킴은 ImageNet에서 70.5%의 top-1를 달성해 이전의 BNN을 능가한다.