[논문 리뷰] DPP-Net: Device-aware Progressive Search for Pareto-optimal Neural Architectures

Jin‐Dong Dong, An-Chieh Cheng외 3명|arXiv (Cornell University)|2018. 06. 21.

Advanced Neural Network Applications참고 문헌 23인용 수 18

한 줄 요약

DPP-Net는 디바이스 인식형 프로그레시브 서치 프레임워크로, 정확도, 모델 크기와 같은 디바이스에 관계없는 목표와 추론 시간, 메모리 사용량과 같은 디바이스 관련 목표를 동시에 최적화하여 다양한 하드웨어에서 파레토 최적 모델을 달성한다. Titan X, Jetson TX1 및 모바일 폰에서 CondenseNet과 NASNet(Mobile)과 같은 최신 기술보다 높은 정확도와 더 빠른 추론 속도를 제공한다.

ABSTRACT

Recent breakthroughs in Neural Architectural Search (NAS) have achieved state-of-the-art performances in applications such as image classification and language modeling. However, these techniques typically ignore device-related objectives such as inference time, memory usage, and power consumption. Optimizing neural architecture for device-related objectives is immensely crucial for deploying deep networks on portable devices with limited computing resources. We propose DPP-Net: Device-aware Progressive Search for Pareto-optimal Neural Architectures, optimizing for both device-related (e.g., inference time and memory usage) and device-agnostic (e.g., accuracy and model size) objectives. DPP-Net employs a compact search space inspired by current state-of-the-art mobile CNNs, and further improves search efficiency by adopting progressive search (Liu et al. 2017). Experimental results on CIFAR-10 are poised to demonstrate the effectiveness of Pareto-optimal networks found by DPP-Net, for three different devices: (1) a workstation with Titan X GPU, (2) NVIDIA Jetson TX1 embedded system, and (3) mobile phone with ARM Cortex-A53. Compared to CondenseNet and NASNet (Mobile), DPP-Net achieves better performances: higher accuracy and shorter inference time on various devices. Additional experimental results show that models found by DPP-Net also achieve considerably-good performance on ImageNet as well.

연구 동기 및 목표

• 추론 시간, 메모리 사용량, 전력 소모와 같은 디바이스 특화 제약 조건을 일반적으로 간과하는 신경망 아키텍처 탐색(NAS)의 격차를 해소하기 위해.
• 정확도, 모델 크기와 같은 디바이스에 관계없는 목표와 추론 시간, 메모리 사용량과 같은 디바이스 관련 목표를 동시에 최적화하는 효율적인 탐색 방법을 개발하기 위해.
• 성능과 효율성을 균형 잡는 아키텍처를 찾아 자원 제약이 있는 디바이스에 깊은 신경망을 실용적으로 구현하기 위해.
• 하드웨어 특화 최적화로 인해 한 디바이스에서 탐색된 모델이 다른 디바이스로 일반화되지 않을 수 있음을 입증하며, 이는 디바이스 인식형 탐색의 필요성을 시사한다.

제안 방법

• DPP-Net는 최신 모바일 CNNs를 기반으로 한 컴act한 탐색 공간을 사용하여 탐색 복잡도를 감소시킨다.
• Liu 등(2017)의 프로그레시브 서치를 활용하여 작은 단계에서 점진적으로 모델을 훈련하고 평가함으로써 아키텍처 탐색 속도를 높인다.
• 정확도, 추론 시간, 메모리 사용량, 모델 크기의 다중 목표 최적화를 수행하여 파레토 최적 아키텍처를 식별한다.
• 하드웨어 인식된 성능 예측을 보장하기 위해 실제 디바이스(Titan X, Jetson TX1, ARM Cortex-A53 폰)에서 탐색을 수행한다.
• 학습된 그룹 컨벌루션의 희박성(스패arsity)을 유도하기 위해 그룹 라소 정규화를 사용하여 효율성을 향상시킨다.
• ONNX와 Caffe2를 사용하여 대상 디바이스에서 직접 추론 시간과 메모리 사용량을 측정하여 현실적인 평가를 수행한다.

실험 결과

연구 질문

• RQ1 정확도와 추론 시간, 메모리 사용량과 같은 디바이스 특화 제약 조건을 동시에 효과적으로 최적화할 수 있는 신경망 아키텍처 탐색 방법이 가능한가?
• RQ2 한 디바이스에서 탐색된 모델의 성능은 다른 하드웨어 및 소프트웨어 스택을 가진 디바이스로 어떻게 일반화되는가?
• RQ3 프로그레시브 서치 전략이 다중 목표 NAS에서 파레토 최적성을 유지하면서도 탐색 효율을 크게 향상시킬 수 있는가?
• RQ4 디바이스 인식형 탐색 접근법이 최신 수작업으로 설계된 모바일 CNNs보다 정확도와 효율성 간의 더 나은 트레이드오프를 제공하는가?

주요 결과

• CIFAR-10에서 DPP-Net는 Titan X, Jetson TX1 및 ARM Cortex-A53 폰에서 CondenseNet과 NASNet(Mobile)보다 높은 정확도와 더 짧은 추론 시간을 달성했다.
• 유사한 모델이라도 추론 시간이 디바이스 간에 크게 달라져, 디바이스 특화 특성이 성능에 결정적인 영향을 미치며 디바이스 인식형 탐색의 필요성을 입증했다.
• DPP-Net-Panacea는 ImageNet에서 상위-1 정확도 25.98%와 상위-5 정확도 8.21%를 기록하여 CondenseNet-74와 NASNet(Mobile)를 모든 지표에서 초월했다.
• 모바일 폰에서 DPP-Net가 탐색한 모델(DPP-Net-Panacea)은 추론 시간 0.676초, 메모리 사용량 238MB를 기록하여 속도와 메모리 효율성에서 NASNet(Mobile)을 모두 뛰어넘었다.
• 탐색 과정은 효율적이고 확장 가능했으며, 프oxy 메트릭이나 시뮬레이션에 의존하지 않고 실제 디바이스에서 직접 평가가 가능했다.
• 결과적으로 한 디바이스에서 최적화된 모델이 다른 디바이스에서 반드시 우수한 성능을 내지 못한다는 점을 확인하여, 디바이스 인식형 탐색의 필요성을 입증했다.