[논문 리뷰] End-to-End Learning of Energy-Constrained Deep Neural Networks.

Haichuan Yang, Yuhao Zhu외 1명|arXiv (Cornell University)|2018. 06. 12.

Advanced Neural Network Applications인용 수 12

한 줄 요약

이 논문은 양적 에너지 예산 보장을 갖춘 에너지 제약이 있는 딥 네ural 네트워크(DNN)를 훈련하기 위한 최초의 엔드 투 엔드 프레임워크를 제시한다. 가중치가 부여된 희소 투영과 입력 마스킹을 제약 최적화 과정에 통합함으로써, 이전 방법보다 엄격한 에너지 제한 하에서 더 높은 정확도를 달성할 수 있으며, 공개된 코드를 제공한다.

ABSTRACT

Deep Neural Networks (DNNs) are increasingly deployed in highly energy-constrained environments such as autonomous drones and wearable devices while at the same time must operate in real-time. Therefore, reducing the energy consumption has become a major design consideration in DNN training. This paper proposes the first end-to-end DNN training framework that provides quantitative energy consumption guarantees via weighted sparse projection and input masking. The key idea is to formulate the DNN training as an optimization problem in which the energy budget imposes a previously unconsidered optimization constraint. We integrate the quantitative DNN energy estimation into the DNN training process to assist the constrained optimization. We prove that an approximate algorithm can be used to efficiently solve the optimization problem. Compared to the best prior energy-saving methods, our framework trains DNNs that provide higher accuracies under same or lower energy budgets. Code is publicly available.

연구 동기 및 목표

• 드론과 웨어러블 기기와 같은 실시간 에너지 제약 환경에서 에너지 효율적인 DNN의 증가하는 수요를 해결하기 위해.
• DNN 훈련을 하드 에너지 예산 제약 조건이 있는 최적화 문제로 공식화하기 위해.
• 정확한 에너지 제어를 위한 훈련 과정에 직접적으로 정량적 에너지 추정을 통합하기 위해.
• 제약 최적화 문제를 효율적으로 해결할 수 있는 근사 알고리즘을 개발하기 위해.

제안 방법

• 에너지 예산을 하드 제약 조건으로 삼는 DNN 훈련을 제약 최적화 문제로 공식화하기 위해.
• 활성화 희소성과 추론 중 에너지 소비를 줄이기 위해 가중치가 부여된 희소 투영을 도입하기 위해.
• 계산 이전에 비필수 입력 특징을 마스킹하여 에너지 소비를 줄이기 위해.
• 최적화를 이끄는 데 사용하기 위해 훈련 파이프라인에 미분 가능 에너지 추정 모듈을 통합하기 위해.
• 이론적 수렴 보장을 갖춘 효율적인 근사 알고리즘을 사용하여 제약 최적화 문제를 효과적으로 해결하기 위해.
• 예산 제약 조건 하에서 정확도와 에너지 소비의 공동 최적화를 통해 DNN을 엔드 투 엔드로 훈련하기 위해.

실험 결과

연구 질문

• RQ1 DNN 훈련은 하드 에너지 예산 제약 조건이 있는 제약 최적화 문제로 공식화될 수 있는가?
• RQ2 에너지 소비는 어떻게 정확하게 추정하고 DNN 훈련 과정에 통합할 수 있는가?
• RQ3 가중치가 부여된 희소 투영과 입력 마스킹은 정확도를 유지하면서 에너지 소비를 효과적으로 줄일 수 있는가?
• RQ4 스케일에 맞는 에너지 제약이 있는 DNN 훈련 문제를 효율적으로 해결할 수 있는 알고리즘이 존재하는가?
• RQ5 제안된 프레임워크는 이전의 에너지 절약 방법과 비교하여 정확도와 에너지 효율성 측면에서 어떻게 다른가?

주요 결과

• 제안된 프레임워크는 동일하거나 더 낮은 에너지 예산 하에서 최신 기술보다 더 높은 모델 정확도를 달성한다.
• 훈련 과정에 에너지 추정을 통합함으로써 정량적 보장을 갖춘 정확한 에너지 소비 제어가 가능해진다.
• 가중치가 부여된 희소 투영과 입력 마스킹의 사용은 정확도 손실이 크지 않은 상태에서 계산 에너지를 효과적으로 줄인다.
• 근사 알고리즘이 제약 최적화 문제에 대한 효율적인 해결책을 제공하여 엔드 투 엔드 훈련을 가능하게 한다.
• 이 프레임워크는 명시적 에너지 예산 제약 조건과 측정 가능한 에너지 절감 효과를 제공하는 최초의 엔드 투 엔드 훈련 프레임워크이다.
• 공개된 코드 덕분에 재현 가능성이 높고, 에너지 제약이 있는 딥 러닝 분야의 추가 연구가 가능해진다.