[논문 리뷰] UDC: Unified DNAS for Compressible TinyML Models

I. A. Fedorov, Ramon Matas외 4명|arXiv (Cornell University)|2022. 01. 15.

Advanced Neural Network Applications인용 수 6

한 줄 요약

UDC는 신경망 아키텍처, 레이어별 가중치 비트폭, 희소성 수준을 동시에 최적화하여 NPU에 배포 가능한 압축 가능한 TinyML 모델을 생성하는 통합 가능한 미분 가능 신경망 아키텍처 탐색(DNAS) 프레임워크를 제안한다. 하드웨어 인지 압축(양자화 및 자르기)을 탐색 공간에 통합함으로써 UDC는 이미지넷에서 동일 정확도일 경우 최대 3.35배 작아진다거나 동일 크기일 경우 6.25% 더 높은 정확도를 달성하는 최첨단 성능을 달성하며, 엄격한 NPU 메모리 제약 조건 내에 배포 가능함을 보장한다.

ABSTRACT

Deploying TinyML models on low-cost IoT hardware is very challenging, due to limited device memory capacity. Neural processing unit (NPU) hardware address the memory challenge by using model compression to exploit weight quantization and sparsity to fit more parameters in the same footprint. However, designing compressible neural networks (NNs) is challenging, as it expands the design space across which we must make balanced trade-offs. This paper demonstrates Unified DNAS for Compressible (UDC) NNs, which explores a large search space to generate state-of-the-art compressible NNs for NPU. ImageNet results show UDC networks are up to $3.35 imes$ smaller (iso-accuracy) or 6.25% more accurate (iso-model size) than previous work.

연구 동기 및 목표

• 저비용 IoT 기기의 제한된 메모리에 맞는 TinyML 모델을 설계하는 데 도전하는 것.
• 소프트웨어 기반 MCU가 효율적으로 활용할 수 없는 NPU에서 하드웨어 기반 모델 압축(양자화 및 희소성)을 완전히 활용할 수 있도록 하는 것.
• 하드웨어 NPU 메모리 제약 조건을 만족시키면서도 신경망 아키텍처, 레이어별 비트폭, 희소성 수준을 공동으로 탐색하는 것.
• 과도한 정규화를 방지하고 효율적인 가중치 공유를 보장하는, 유연한 하드웨어 인지 탐색 알고리즘을 개발하는 것.
• NPU 배포에 있어 정확도와 모델 크기 측면에서 파레토 최적인, 압축 가능하고 배포 가능한 TinyML 모델을 생성하는 것.

제안 방법

• 다양한 비트폭과 희소성 수준을 레이어별로 동시에 최적화하기 위해 DNAS를 확장하여, 압축 가능성을 고려한 목적 함수를 사용한다.
• 자르기 마스크와 양자화된 가중치의 엔트로피 제한 압축 기반으로 새로운 미분 가능한 압축 가능성 측정법을 도입하여 기울기 기반 최적화를 가능하게 한다.
• 개선된 탐색-이용 제어 및 편향 감소를 통해 과도한 정규화를 방지하는 Gumbel-softmax 기반 탐색을 사용한다.
• 기존에 최적화하기 어려운 희소성과 저비트폭 모델의 훈련을 안정화하기 위해 새로운 가중치 표현 방식과 훈련 알고리즘을 도입한다.
• 모델 압축 크기에 대한 미분 가능한 크기 근사치를 통해 압축 모델 크기에 하드 제약 조건을 도입하여, 생성된 모든 모델이 목표 NPU 메모리 한계 내에 들어오도록 보장한다.
• 실제 Vela NPU 컴파일러를 사용하여 압축 성과를 검증하였으며, 이 컴파일러는 마스크와 비영인 가중치에 대해 골롬-라이스 및 런레ング스 인코딩을 적용한다.

실험 결과

연구 질문

• RQ1 통합 가능한 미분 가능 NAS 프레임워크가 신경망 아키텍처, 레이어별 비트폭, 희소성 수준을 동시에 최적화하여 NPU에 배포 가능한 TinyML 모델을 생성할 수 있는가?
• RQ2 정규화 과도 및 편향이 있는 Gumbel-softmax 근사에 의해 영향을 받지 않도록 하면서도 높은 정확도와 압축 가능성을 유지할 수 있도록 탐색 과정을 어떻게 강화할 수 있는가?
• RQ3 아키텍처, 비트폭, 희소성에 대한 공동 탐색이 순차적 설계 및 조건화 방식에 비해 모델 크기와 정확도 측면에서 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ4 제안된 방법이 수동 튜닝 없이도 생성된 모델이 하드웨어 NPU 메모리 제약 조건을 충족시킬 수 있는가?
• RQ5 제안된 압축 가능성 인지 탐색은 무작위 탐색 및 변형된 변종에 비해 최종 모델 성능과 탐색 효율성 측면에서 어떻게 비교되는가?

주요 결과

• UDC가 생성한 모델은 이전 연구 대비 동일한 ImageNet top-1 정확도에서 최대 3.35배 더 작아졌으며, 뚜렷한 압축 성과를 보였다.
• 동일한 모델 크기에서 UDC 모델은 ImageNet에서 이전 최첨단 모델보다 6.25% 더 높은 정확도를 달성했다.
• 이론적 압축 모델 크기와 Vela NPU 컴파일러로 측정한 실질적 크기 사이의 오차가 두 소수점 이내로 매우 유사했다.
• 절단 실험 결과, UDC의 어떤 구성 요소라도 비활성화될 경우 CIFAR100과 ImageNet 양쪽에서 성능이 뚜렷이 악화됨을 확인했다.
• 시스템 특화 런타임에서 UDC는 FBNet과 FBNetV2보다 1.4배 빠르며, 정규화된 탐색 비용(초당 460장 처리 시스템 기준 3.2 GPUD)에서는 그 외 모든 방법보다 뛰어난 성능을 보였다.
• 제안된 수치 형식과 훈련 알고리즘이 기존에 최적화하기 어려운 매우 희소하고 저비트폭 모델의 안정적 훈련을 가능하게 했다.