[논문 리뷰] Dual Dynamic Inference: Enabling More Efficient, Adaptive and Controllable Deep Inference

Yue Wang, Jianghao Shen외 6명|arXiv (Cornell University)|2019. 07. 10.

Advanced Neural Network Applications참고 문헌 46인용 수 9

한 줄 요약

이 논문은 입력 의존적 및 자원 의존적 동적 추론을 통합하여 효율적이고 적응형이며 제어 가능한 딥러닝 추론을 가능하게 하는 통합 프레임워크인 이중 동적 추론(Dual Dynamic Inference, DDI)을 제안한다. 다층적 및 채널 수준의 동시에 건너뛰기 전략인 다중 해상도 스킵 학습(Multi-grained Learning-to-Skip, MGL2S)을 도입함으로써, CIFAR-10 및 ImageNet에서 최신 기준 대비 동일하거나 높은 정확도를 유지하면서 최대 4배의 계산량 절감을 달성하였으며, 하드한 자원 제약 조건 하에서도 언제라도 예측이 가능한 기능을 제공한다.

ABSTRACT

State-of-the-art convolutional neural networks (CNNs) yield record-breaking predictive performance, yet at the cost of high-energy-consumption inference, that prohibits their widely deployments in resource-constrained Internet of Things (IoT) applications. We propose a dual dynamic inference (DDI) framework that highlights the following aspects: 1) we integrate both input-dependent and resource-dependent dynamic inference mechanisms under a unified framework in order to fit the varying IoT resource requirements in practice. DDI is able to both constantly suppress unnecessary costs for easy samples, and to halt inference for all samples to meet hard resource constraints enforced; 2) we propose a flexible multi-grained learning to skip (MGL2S) approach for input-dependent inference which allows simultaneous layer-wise and channel-wise skipping; 3) we extend DDI to complex CNN backbones such as DenseNet and show that DDI can be applied towards optimizing any specific resource goals including inference latency or energy cost. Extensive experiments demonstrate the superior inference accuracy-resource trade-off achieved by DDI, as well as the flexibility to control such trade-offs compared to existing peer methods. Specifically, DDI can achieve up to 4 times computational savings with the same or even higher accuracy as compared to existing competitive baselines.

연구 동기 및 목표

• 고복잡도의 CNN을 자원 제약이 있는 IoT 기기에서 구동하는 데 있어 높은 에너지 및 계산 비용으로 인한 과제를 해결한다.
• 샘플의 난이도에 따라 적응하는 입력 의존적 동적 추론과 하드한 자원 제약을 충족하는 자원 의존적 동적 추론을 하나의 프레임워크에서 통합한다.
• 기존의 동적 추론 방법이 코arse-grained 레이어 스킵만 지원하거나 ResNet과 같은 단순한 네트워크 아키텍처에 국한되는 한계를 극복한다.
• 동시적인 레이어 수준 및 채널 수준의 스킵을 통해 정확도-계산량 트레이드오프에 대한 세밀하고 민감한 제어를 가능하게 한다.
• DenseNet과 같은 복잡한 CNN 백본으로의 동적 추론 확장을 통해 일반화 능력과 효율성 향상을 입증한다.

제안 방법

• 입력 의존적 및 자원 의존적 동적 메커니즘을 하나의 통합 아키텍처 안에서 통합하는 이중 동적 추론(DDI) 프레임워크를 제안한다.
• 다중 해상도 스킵 학습(MGL2S) 기법을 도입하여 향상된 유연성과 정확도-자원 균형을 달성하기 위해 동시에 레이어 수준 및 채널 수준의 스킵을 가능하게 한다.
• DenseNet과 같은 복잡한 백본 아키텍처에 적합한 새로운 게이팅 메커니즘과 스킵 전략을 설계하여 호환성과 성능을 확보한다.
• 입력 난이도와 자원 제약 조건에 기반해 조기 종료 및 효율적 스킵을 장려하는 미분 가능한 손실 함수를 사용하여 DDI 모델을 엔드 투 엔드로 훈련한다.
• 테스트 시점에 추론 깊이와 너비를 동적으로 조정함으로써 언제라도 예측이 가능한 기능을 지원하며, 다양한 계산 예산에 실시간으로 적응할 수 있도록 한다.
• ResNet과 DenseNet 모두에 프레임워크를 적용하여 다양한 아키텍처와 데이터셋에서 일관된 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크가 입력 의존적 및 자원 의존적 동적 추론을 효과적으로 융합하여 엣지 AI의 에너지 효율성을 향상시킬 수 있는가?
• RQ2 동시적인 레이어 및 채널 스킵을 포함한 다중 해상도 스킵 전략이 기존의 코arse-grained 스킵 방법에 비해 정확도-계산량 트레이드오프를 얼마나 향상시킬 수 있는가?
• RQ3 DenseNet과 같이 밀접한 연결 구조와 높은 모델 복잡도를 지닌 복잡한 CNN 아키텍처로의 DDI 프레임워크의 일반화 능력은 어느 정도인가?
• RQ4 SkipNet과 같은 최신 기준 동적 추론 기반 모델에 비해 DDI가 유의미한 계산량 절감을 달성하면서도 정확도를 유지하거나 향상시킬 수 있는가?
• RQ5 고정된 지연 시간 또는 에너지 예산과 같은 하드한 자원 제약 조건 하에서도 DDI는 언제라도 예측 기능을 얼마나 효과적으로 지원할 수 있는가?

주요 결과

• CIFAR-10에서 DDI는 최고의 경쟁 기준인 SkipNet과 동일하거나 높은 정확도를 유지하면서 최대 4배의 계산량 절감을 달성하였다.
• ImageNet에서 DenseNet201-DDI 모델은 동일한 FLOP 예산 하에서 기준 모델 대비 최대 9% 높은 Top-1 정확도를 기록하여 뛰어난 정확도-자원 균형을 입증하였다.
• MGL2S 방법은 정확도 손실를 줄이기 위해 어떤 채널과 레이어를 스킵할지에 대한 세밀한 제어를 가능하게 하여 민감한 다중 해상도 스킵을 실현하였다.
• 특징 시각화 결과, 레이어 스킵에 비해 채널 스킵이 특징의 열화를 최소화함을 확인하였으며, 이는 자원 제약 조건 하에서 더 부드러운 정확도 감소를 가능하게 한다는 점을 정당화한다.
• DDI가 학습한 스킵 패턴은 각 스테이지의 첫 번째 잔차 블록을 일관되게 유지함으로써, 학습된 구조적 중요성과 강건성을 보여주었다.
• DDI는 하드한 계산 예산 조건 하에서도 언제라도 예측을 성공적으로 지원하였으며, 다양한 FLOP 수준에서 기준 모델 대비 경쟁력 있거나 더 높은 정확도를 유지하였다.