[논문 리뷰] ALERT: Accurate Anytime Learning for Energy and Timeliness

Chengcheng Wan, Muhammad Husni Santriaji외 4명|arXiv (Cornell University)|2019. 10. 31.

Advanced Neural Network Applications인용 수 3

한 줄 요약

ALERT는 환경의 변동성을 탐지하기 위해 확률 모델을 사용하여 응용 수준의 DNN 선택과 시스템 수준의 자원 구성 간의 협업 최적화를 통해 런타임 스케줄러로, 비협력적 적응 대비 에너지 소비를 13% 이상 감소시키고 오류를 27% 감소시킨다. 또한 최적의 지식을 갖춘 오라클 시스템과 비교해 에너지 소비는 3% 더 많고 오류는 2% 더 높지만, 근사 최적의 성능을 달성한다.

ABSTRACT

An increasing number of software applications incorporate runtime Deep Neural Networks (DNNs) to process sensor data and return inference results to humans. Effective deployment of DNNs in these interactive scenarios requires meeting latency and accuracy constraints while minimizing energy, a problem exacerbated by common system dynamics. Prior approaches handle dynamics through either (1) system-oblivious DNN adaptation, which adjusts DNN latency/accuracy tradeoffs, or (2) application-oblivious system adaptation, which adjusts resources to change latency/energy tradeoffs. In contrast, this paper improves on the state-of-the-art by coordinating application- and system-level adaptation. ALERT, our runtime scheduler, uses a probabilistic model to detect environmental volatility and then simultaneously select both a DNN and a system resource configuration to meet latency, accuracy, and energy constraints. We evaluate ALERT on CPU and GPU platforms for image and speech tasks in dynamic environments. ALERT's holistic approach achieves more than 13% energy reduction, and 27% error reduction over prior approaches that adapt solely at the application or system level. Furthermore, ALERT incurs only 3% more energy consumption and 2% higher DNN-inference error than an oracle scheme with perfect application and system knowledge.

연구 동기 및 목표

• 동적 시스템 조건 하에서 엄격한 지연, 정확도 및 에너지 제약을 충족하는 인터랙티브 DNN 응용 프로그램의 과제를 해결하기 위해.
• 이전 방법들이 응용 수준 또는 시스템 수준에서만 적응하는 데서 비롯되는 한계를 극복하여, 효과적으로 트레이드오프를 조율하지 못하는 문제를 해결하기 위해.
• 지연, 정확도 및 에너지 제약을 동시에 충족시키기 위해 DNN 모델과 시스템 자원 구성 설정을 공동으로 선택하는 통합 런타임 스케줄러를 설계하기 위해.

제안 방법

• ALERT는 환경의 변동성을 탐지하기 위해 확률 모델을 사용하여 변화하는 워크로드에 선제적으로 대응할 수 있도록 한다.
• 지연, 정확도 및 에너지 제약을 동시에 충족시키기 위해 DNN 모델과 시스템 자원 구성 설정을 공동으로 선택한다.
• 런타임 피드백을 활용해 확률 모델을 정밀화하고 시간이 지남에 따라 적응 결정을 향상시킨다.
• ALERT는 실시간으로 작동하여 현재 시스템 및 환경 조건에 따라 추론 구성 설정을 동적으로 조정함으로써 언제라도 학습이 가능한 방식으로 작동한다.
• 응용 수준의 DNN 적응과 시스템 수준의 자원 관리를 통합하여, 별도 최적화로 인한 열악한 트레이드오프를 피한다.

실험 결과

연구 질문

• RQ1 응용 수준과 시스템 수준의 적응을 공동으로 수행할 경우, 각각의 계층에서만 적응하는 것보다 동적 DNN 추론 워크로드에서 성능이 뛰어나지 않는가?
• RQ2 확률 모델이 환경의 변동성을 효과적으로 탐지하여 실시간 DNN 및 시스템 구성 설정 결정을 안내할 수 있는가?
• RQ3 최적의 DNN 및 자원 선택에 대한 완벽한 지식을 갖춘 오라클 시스템과 비교했을 때 ALERT의 성능 격차는 어느 정도인가?
• RQ4 실제 CPU 및 GPU 환경에서 ALERT는 에너지 소비를 크게 줄이면서도 어떻게 낮은 추론 오류를 유지하는가?

주요 결과

• ALERT는 응용 수준 또는 시스템 수준에서만 적응하는 이전 방법 대비 에너지 소비를 13% 이상 감소시킨다.
• 비협력적 적응 전략 대비 DNN 추론 오류를 27% 감소시킨다.
• 최적의 구성 설정을 완벽하게 알고 있는 오라클 시스템과 비교해 에너지 소비는 3% 높을 뿐이다.
• 추론 오류 측면에서 오라클 시스템 대비 정확도를 2% 향상시켜 근사 최적의 성능임을 시사한다.
• ALERT는 CPU 및 GPU 플랫폼에서 이미지 및 음성 작업을 포함한 다양한 워크로드에서 일관된 성능 향상을 보였다.
• DNN과 시스템 적응 간의 통합 조율이 동적 조건 하에서 뛰어난 트레이드오프 관리 능력을 제공한다.