[논문 리뷰] Any-Precision Deep Neural Networks

Haichao Yu, Haoxiang Li외 3명|arXiv (Cornell University)|2019. 11. 17.

Advanced Neural Network Applications참고 문헌 46인용 수 9

한 줄 요약

이 논문은 재훈련이나 校정 없이도 단일 미리 훈련된 모델이 동적으로 어떤 비트 폭이든에서 추론할 수 있도록 하는 다각도 정밀도 딥 네ural 네트워크(DNN) 프레임워크를 소개한다. 여러 비트 폭과 함께 공동으로 훈련하고 지식 전이를 사용함으로써, 이 모델은 시각 작업 전반에서 전용 저정밀도 모델과 비교해 유사한 정확도를 달성하며, 효율성과 정확도 사이의 탄력적인 런타임 트레이드오프를 가능하게 한다.

ABSTRACT

We present any-precision deep neural networks (DNNs), which are trained with a new method that allows the learned DNNs to be flexible in numerical precision during inference. The same model in runtime can be flexibly and directly set to different bit-widths, by truncating the least significant bits, to support dynamic speed and accuracy trade-off. When all layers are set to low-bits, we show that the model achieved accuracy comparable to dedicated models trained at the same precision. This nice property facilitates flexible deployment of deep learning models in real-world applications, where in practice trade-offs between model accuracy and runtime efficiency are often sought. Previous literature presents solutions to train models at each individual fixed efficiency/accuracy trade-off point. But how to produce a model flexible in runtime precision is largely unexplored. When the demand of efficiency/accuracy trade-off varies from time to time or even dynamically changes in runtime, it is infeasible to re-train models accordingly, and the storage budget may forbid keeping multiple models. Our proposed framework achieves this flexibility without performance degradation. More importantly, we demonstrate that this achievement is agnostic to model architectures and applicable to multiple vision tasks. Our code is released at https://github.com/SHI-Labs/Any-Precision-DNNs.

연구 동기 및 목표

• 실제 딥 러닝 배포 환경에서 모델 정확도와 런타임 효율성의 균형을 맞추는 실용적 과제를 해결한다.
• 다른 정밀도 수준을 위해 재훈련이나 여러 모델을 유지해야 하는 기존 방법의 한계를 극복한다.
• 성능 저하 없이 추론 시점에 동적으로 정밀도 조정을 지원할 수 있는 단일 모델을 가능하게 한다.
• 다양한 비트 폭에서의 공동 훈련과 지식 전이가 강건하고 일반화 가능한 저정밀도 모델을 생성함을 보여준다.
• 아키텍처에 관계없이 적용 가능하며 다양한 시각 작업과 벤치마크에 적용 가능한 모델의 유연성을 확보한다.

제안 방법

• 역전파 동안 여러 비트 폭(예: 1, 2, 4, 8, 32비트)을 동시에 훈련하면서 공유된 정밀도(FP32) 가중치를 주요 학습 가능한 가중치로 사용한다.
• 정량화 연산을 통해 기울기를 역전파하기 위해 직선 추정(Stealth-Through Estimation, STE)을 적용함으로써 종단 간 최적화를 가능하게 한다.
• 재귀적 지식 전이를 사용: 더 낮은 비트 출력을 가장 가까운 높은 비트 모델의 소프트 레이블로 지도함으로써 저정밀도 영역에서의 일반화를 향상시킨다.
• 기울기 일致성은 Update Compliance Average(UCA)를 통해 확보되며, 이는 서로 다른 비트 폭 간 기울기의 코사인 유사도를 측정한다.
• 재훈련이나 校정 없이도 런타임에 가중치와 활성화의 가장 낮은 유효 비트를 잘라내어 어떤 비트 폭이든에서 추론할 수 있도록 한다.
• 다양한 비트 폭 간의 공동 최적화를 통해, 정밀도 수준 간 일관된 표현을 학습함으로써 적대적 공격에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 재훈련이나 校정 없이도 단일 DNN이 추론 시점에 동적으로 정밀도 조정을 지원할 수 있는가?
• RQ2 여러 비트 폭에서의 공동 훈련이 정확도와 일반화에 미치는 영향은 무엇이며, 특히 저비트 영역에서 어떻게 작용하는가?
• RQ3 지식 전이가 전용 모델과 비교해 저비트 다각도 정밀도 모델의 성능을 얼마나 향상시키는가?
• RQ4 제안된 프레임워크는 단일 정밀도 모델 대비 적대적 공격에 대해 강건성을 유지하거나 향상시키는가?
• RQ5 다각도 정밀도 접근법은 아키텍처 수정 없이 다양한 아키텍처와 시각 작업에 일반화 가능한가?

주요 결과

• 어느-정밀도 DNN는 CIFAR-10과 ImageNet에서 전용 모델과 동일한 비트 폭에서의 정확도를 달성하거나 초월한다. ResNet-20는 FP32에서 93.98%의 상위-1 정확도, 지식 전이를 통한 1비트에서 92.15%의 정확도를 기록했다.
• Pascal VOC 2012 세그멘테이션 작업에서 제안된 방법은 전용 모델을 초월한다: 1비트에서 mIoU 61.3%를 기록했고, 전용 1비트 모델은 59.5%였다.
• 지식 전이가 저비트 성능을 크게 향상시킨다: ImageNet에서 ResNet-50는 지식 전이를 통한 4비트에서 상위-1 정확도 74.75%를 달성했고, 지식 전이 없이선 74.43%였다.
• 비트 폭 간 Update Compliance Average(UCA)는 항상 높게 유지되며(0.9–1.0), 훈련 단계에서 기울기 일치성이 뛰어나다는 것을 나타낸다.
• 어느-정밀도 모델은 FGSM 적대적 공격에 대해 향상된 강건성을 보이며, FP32 모델의 정확도가 전용 모델 대비 10% 이상 향상되었다.
• 이 프레임워크는 모델 아키텍처에 관계없이 적용 가능하며, 분류 및 세그멘테이션 작업 전반에 걸쳐 일반화된다. ResNet, DenseNet, ResNet-50 기반의 DeepLabV3 등 다양한 아키텍처에 적용 가능하다.