[논문 리뷰] Dynamically Throttleable Neural Networks (TNN)

Hengyue Liu, Samyak Parajuli외 3명|arXiv (Cornell University)|2020. 11. 01.

Advanced Neural Network Applications참고 문헌 47인용 수 4

한 줄 요약

이 논문은 런타임에서 자동으로 적응하는 프레임워크인 동적 스로틀링 신경망(TNN)을 소개한다. 이는 단일 자원 사용률 제어 파rameter를 통해 딥 신경망이 성능과 자원 사용량을 자가 조절할 수 있도록 한다. 런타임 드롭아웃을 적용하고 맥락 인식 제어기를 분리함으로써 TNN는 이미지 및 영상 분류 작업에서 최고의 정확도를 유지하면서도 최대 74%의 지연 감소와 52%의 에너지 절감을 달성한다.

ABSTRACT

Conditional computation for Deep Neural Networks (DNNs) reduce overall computational load and improve model accuracy by running a subset of the network. In this work, we present a runtime throttleable neural network (TNN) that can adaptively self-regulate its own performance target and computing resources. We designed TNN with several properties that enable more flexibility for dynamic execution based on runtime context. TNNs are defined as throttleable modules gated with a separately trained controller that generates a single utilization control parameter. We validate our proposal on a number of experiments, including Convolution Neural Networks (CNNs such as VGG, ResNet, ResNeXt, DenseNet) using CiFAR-10 and ImageNet dataset, for object classification and recognition tasks. We also demonstrate the effectiveness of dynamic TNN execution on a 3D Convolustion Network (C3D) for a hand gesture task. Results show that TNN can maintain peak accuracy performance compared to vanilla solutions, while providing a graceful reduction in computational requirement, down to 74% reduction in latency and 52% energy savings.

연구 동기 및 목표

• 자원 제약이 변동하는 실세계 환경에서 정적 딥 신경망의 비효율성을 해결한다.
• 네트워크 아키텍처의 런타임 적응을 통해 정확도와 계산 효율성 사이의 트레이드오프를 극복한다.
• 제어기를 메인 네트워크에서 분리하여 다양한 애플리케이션에 맞는 스로틀링 정책을 유연하게 구현할 수 있도록 한다.
• 단일 스칼라 자원 사용률 파rameter를 통해 효율적이고 저비용의 조건부 계산을 가능하게 한다.
• 실제 전력 소비 및 지연 측정을 통해 임베디드 시스템에서의 동적 스로틀링의 실용성을 입증한다.

제안 방법

• TNN 모듈을 추론 중에 조건부로 활성화 또는 비활성화할 수 있는 학습 가능한 필터 기반 블록으로 설계한다.
• 입력에 따라 달라지는 단일 자원 사용률 파rameter $u$를 사용하여 TNN 모듈를 게이트링함으로써, 탄력적이고 저복잡도의 제어를 가능하게 한다.
• 다양한 $u$ 수준에서 런타임 드롭아웃을 적용하여 네트워크를 정규화하고 스로틀링 지점에서의 강건성을 확보한다.
• 제어기를 TNN 아키텍처에서 분리하여, 규칙 기반 또는 학습 가능한(예: 강화학습을 통해) 어떤 정책이라도 $u$를 생성할 수 있도록 한다.
• 입력 맥락(예: 배터리 수준 또는 환경 조건)을 기반으로 최적의 스로틀링 수준을 선택하는 맥락 인식 제어기를 구현한다.
• 강화학습 또는 맥락 기반 밴디트를 통해 학습된 데이터 기반 제어기를 사용하여 $u$를 애플리케이션 수준의 성능 지표 최적화를 위해 조정한다.

실험 결과

연구 질문

• RQ1 단일 학습 가능한 자원 사용률 파rameter가 다양한 추론 워크로드에서 딥 신경망의 효과적이고 효율적인 동적 스로틀링을 가능하게 할 수 있는가?
• RQ2 TNN는 실세계 배포 환경에서 계산 부하와 에너지 소비를 줄이면서도 높은 정확도를 유지할 수 있는가?
• RQ3 분리된 맥락 인식 제어기는 고정 스로틀링 또는 단순한 게이팅 전략에 비해 성능 향상에 얼마나 기여하는가?
• RQ4 TNN는 시간적 동적 특성이 있는 영상 기반 작업을 포함한 이미지 및 영상 기반 작업에 효과적으로 적용될 수 있는가?
• RQ5 실시간 측정을 통해 임베디드 하드웨어에 TNN를 구현했을 때 지연과 에너지 효율성 향상의 실질적 이득은 어느 정도인가?

주요 결과

• TNN는 이미지넷과 CIFAR-10에서 74%의 지연 감소와 52%의 에너지 절감을 기록했음에도 불구하고, 모든 스로틀링 수준에서 원본 DNN와 동일한 최고 정확도를 유지한다.
• TNN는 스로틀링 수준이 증가함에 따라 유연한 성능 저하를 보이며, 고수준 드롭아웃에서도 치명적인 정확도 손실 없이 작동한다.
• 손실 함수 최적화를 위해 강화학습으로 학습한 맥락 인식 제어기는 3D CNN 기반 手동작 인식 작업에서 원본 아키텍처와 모든 고정 자원 사용률 설정보다 뛰어난 성능을 보였다.
• 임베디드 GPU에서의 물리적 측정 결과는 TNN의 실용성을 확인했으며, 런타임과 전력 소비가 유의미하게 감소한 것을 입증했다.
• 단일 파rameter 제어 메커니즘이 히우리스틱 규칙과 학습 가능한 제어기 등 다양한 제어 정책과의 원활한 통합을 가능하게 했다.
• TNN의 아키텍처는 VGG, ResNet, ResNeXt, DenseNet 등 다양한 아키텍처에 걸쳐 스로틀링 가능한 모듈을 즉시 통합할 수 있도록 한다.