[논문 리뷰] Mirror Descent View for Neural Network Quantization

Thalaiyasingam Ajanthan, Kartik Gupta외 3명|arXiv (Cornell University)|2019. 10. 18.

Advanced Neural Network Applications참고 문헌 51인용 수 4

한 줄 요약

이 논문은 연속적 파라미터를 양자화된 값에 대한 이중 변수로 해석함으로써 신경망 양자화를 위한 미러 강하(Mirror Descent, MD) 프레임워크를 제안한다. 이는 원칙적인 최적화 접근법을 가능하게 하며, 투영 함수에서 유효한 미러 매핑을 유도하고 보조 변수를 통해 수치적 안정성을 확보한다. 또한 MD와 직선 통과 추정기(Straight-Through Estimator, STE) 사이의 이론적 동치성을 규명하여, VGG-16, ResNet-18, MobileNetV2를 사용한 CIFAR-10/100, TinyImageNet, ImageNet에서 최고 성능을 달성한다.

ABSTRACT

Quantizing large Neural Networks (NN) while maintaining the performance is highly desirable for resource-limited devices due to reduced memory and time complexity. It is usually formulated as a constrained optimization problem and optimized via a modified version of gradient descent. In this work, by interpreting the continuous parameters (unconstrained) as the dual of the quantized ones, we introduce a Mirror Descent (MD) framework for NN quantization. Specifically, we provide conditions on the projections (i.e., mapping from continuous to quantized ones) which would enable us to derive valid mirror maps and in turn the respective MD updates. Furthermore, we present a numerically stable implementation of MD that requires storing an additional set of auxiliary variables (unconstrained), and show that it is strikingly analogous to the Straight Through Estimator (STE) based method which is typically viewed as a "trick" to avoid vanishing gradients issue. Our experiments on CIFAR-10/100, TinyImageNet, and ImageNet classification datasets with VGG-16, ResNet-18, and MobileNetV2 architectures show that our MD variants obtain quantized networks with state-of-the-art performance. Code is available at https://github.com/kartikgupta-at-anu/md-bnn.

연구 동기 및 목표

• 자원 제한된 장치에 배포하기 위한 깊은 신경망 양자화의 과제를 해결하면서 모델 정확도를 유지하는 것.
• 미러 강하 최적화 프레임워크 내에서 양자화를 프레임워크화함으로써 이론적 기반을 제공하는 것.
• 일반적으로 사용되는 직선 통과 추정기(Straight-Through Estimator, STE)와 미러 강하 사이의 체계적인 연결을 구축하여, 그 경험적 성공을 설명하는 것.
• 학습 중에 사용 가능한 수치적 안정성 있는 MD 구현을 개발하는 것.
• 제안된 MD 기반 양자화 방법을 사용하여 다양한 데이터셋과 아키텍처에서 최고 성능을 보여주는 것.

제안 방법

• 논문은 네트워크 양자화를 이산 집합 위의 제약 최적화 문제로 설정한 후, 제약이 없는 파라미터의 이중 공간에서 미러 강하(MD)를 사용하여 재정의한다.
• 특정 조건 하에서 투영 함수 P가 제약 없는 파라미터를 양자화된 값으로 매핑할 때, 이 함수에서 분석적으로 미러 매핑을 도출한다.
• 시간에 따라 변화하는 미러 매핑을 사용하여 수렴을 보장하며, 비볼록인 양자화 집합에서도 이산적 해로 수렴하도록 한다.
• 보조 제약 없는 변수를 유지하는 수치적 안정성 있는 MD 변종을 제안하며, 업데이트 규칙에서 직선 통과 추정기(STE)와 유사하게 나타난다.
• 학습에 표준 최적화기(Adam, SGD)를 사용하고 학습률 스케줄링과 가중치 감쇠를 적용하며, 최종 가중치는 부호 또는 반올림 연산을 통해 이산화한다.
• 시간에 따라 변화하는 미러 매핑을 사용한 경우, 볼록 케이스에서 이론적 수렴 분석을 수행하였으며, 표준 MD와 동일한 수렴 속도를 보였다.

실험 결과

연구 질문

• RQ1 투영 함수에서 유도된 미러 매핑을 통해 미러 강하를 신경망 양자화에 체계적으로 적용할 수 있는가?
• RQ2 시간에 따라 변화하는 미러 매핑을 갖는 제안된 MD 프레임워크는 비볼록 양자화 환경에서 이산적 해로 수렴을 어떻게 보장하는가?
• RQ3 양자화된 네트워크 학습 맥락에서 직선 통과 추정기(STE)와 미러 강하 사이의 이론적 관계는 무엇인가?
• RQ4 제안된 MD 기반 양자화 방법은 다양한 데이터셋과 아키텍처에서 최고 성능을 달성하는가?
• RQ5 STE의 실용적 효과성을 그대로 유지하는 수치적 안정성 있는 MD 구현을 설계할 수 있는가?

주요 결과

• 제안된 MD 기반 양자화 방법은 VGG-16을 사용해 CIFAR-10과 CIFAR-100에서 최고 성능을 기록하였으며, 이중 및 삼중 설정 모두에서 이전 방법을 능가한다.
• ResNet-18을 사용한 TinyImageNet에서 MD 변종은 기준 방법보다 높은 Top-1 정확도를 달성하여 더 큰 규모의 데이터셋에서도 강건함을 입증한다.
• ResNet-18을 사용한 ImageNet에서 MD-tanh-s* 변종은 초기화부터 학습을 거쳐 76.8%의 Top-1 정확도를 달성했으며, 이는 이전 최고 성능 결과와 동일하거나 이를 초월한다.
• 보조 변수를 사용하는 수치적 안정성 있는 MD 변종은 경험적으로 직선 통과 추정기(STE)와 동일한 성능를 보이며, STE의 실용적 성공을 MD의 특수한 경우로 설명할 수 있다.
• 이론적 분석을 통해 시간에 따라 변화하는 미러 매핑을 갖는 MD는 볼록 케이스에서 표준 MD와 동일한 수렴 속도를 보이며, 이는 프레임워크의 수렴 성질을 검증한다.
• 하이퍼파rameter 튜닝 결과, 학습률 스케줄링과 베타 스케일 파ram터의 안내가 성능 향상에 크게 기여하며, 특히 이중 양자화에서 두드러진다.