[논문 리뷰] ALERT: Accurate Learning for Energy and Timeliness

Chengcheng Wan, Muhammad Husni Santriaji외 4명|arXiv (Cornell University)|2019. 10. 31.

Advanced Neural Network Applications참고 문헌 99인용 수 11

한 줄 요약

ALERT는 동적 지연, 정확도 및 에너지 제약을 충족하기 위해 DNN 모델 선택과 시스템 자원 구성의 공동 최적화를 수행하는 크로스스택 런타임 스케줄러이다. 환경의 변동성을 탐지하기 위해 확률적 모델을 사용함으로써, 응용 프로그램 수준과 시스템 수준의 적응을 조율하며, 비협조적 접근 방식보다 에너지 소비가 13% 낮고 추론 오류는 27% 적으며, 이상적인 오라클 시스템에 비해 에너지 소비는 3% 더 많고 오류는 2% 더 높은 성능을 달성한다.

ABSTRACT

An increasing number of software applications incorporate runtime Deep Neural Networks (DNNs) to process sensor data and return inference results to humans. Effective deployment of DNNs in these interactive scenarios requires meeting latency and accuracy constraints while minimizing energy, a problem exacerbated by common system dynamics. Prior approaches handle dynamics through either (1) system-oblivious DNN adaptation, which adjusts DNN latency/accuracy tradeoffs, or (2) application-oblivious system adaptation, which adjusts resources to change latency/energy tradeoffs. In contrast, this paper improves on the state-of-the-art by coordinating application- and system-level adaptation. ALERT, our runtime scheduler, uses a probabilistic model to detect environmental volatility and then simultaneously select both a DNN and a system resource configuration to meet latency, accuracy, and energy constraints. We evaluate ALERT on CPU and GPU platforms for image and speech tasks in dynamic environments. ALERT's holistic approach achieves more than 13% energy reduction, and 27% error reduction over prior approaches that adapt solely at the application or system level. Furthermore, ALERT incurs only 3% more energy consumption and 2% higher DNN-inference error than an oracle scheme with perfect application and system knowledge.

연구 동기 및 목표

• 예측할 수 없는 시스템 조건 하에서 동적 지연, 정확도 및 에너지 제약을 충족하는 데 도전하는 문제를 해결한다.
• 이전의 접근 방식이 응용 프로그램 수준 또는 시스템 수준에서만 별도로 적응하는 데에 한계가 있음을 극복한다.
• DNN 모델과 시스템 자원 구성 간의 통합적이고 협동적인 런타임 적응을 가능하게 하여 전체 시스템의 효율성을 향상시킨다.
• 실제의 동적 환경에서 에너지 소비와 추론 오류를 줄이면서도 제약 위반(예: 마감 시간 초과)을 최소화한다.
• 동적이고 공유되는 워크로드 환경에서 런타임 오버헤드를 최소화하면서 오라클 성능에 가까운 에너지 소비와 정확도를 달성한다.

제안 방법

• 다양한 DNN과 시스템 구성에서 추론 지연의 분포를 추정하고 추적하기 위해 칼만 필터링 기반의 확률적 모델을 사용한다.
• 시스템 전체의 환경 변동성을 모델링하기 위해 글로벌 느려짐 요소를 도입하여, 모든 DNN 및 자원 구성에 대한 동시 지연 예측을 가능하게 한다.
• 사용자 정의된 제약 조건을 동시에 충족시키기 위해 DNN 모델과 시스템 자원 설정을 동시에 선택하는 다목적 최적화 전략을 활용한다.
• 지연 추정의 평균과 분산을 모두 활용하여 시스템의 변동성을 고려하고 적응의 강건성을 향상시킨다.
• 기존 DNN과 Anytime DNN 모두를 지원하여 추론 중 정확도-지연 트레이드오프를 동적으로 조정할 수 있다.
• 자원 경쟁과 입력 동적 변화와 같은 변화하는 시스템 조건에 지속적으로 적응하기 위해 피드백 제어를 사용한다.

실험 결과

연구 질문

• RQ1 DNN 모델과 시스템 자원 간의 협동적 적응은 별도로 응용 프로그램 수준 또는 시스템 수준에서만 적응하는 것보다 더 나은 에너지, 지연 및 정확도 트레이드오프를 달성할 수 있는가?
• RQ2 자원 경쟁 하에서 동적 시스템 행동을 예측하는 데 있어 분산 인식 기반의 확률적 모델은 얼마나 효과적인가?
• RQ3 실제 워크로드에서 DNN과 시스템 구성 설정을 공동으로 선택함으로써 추론 오류와 에너지 소비는 얼마나 감소하는가?
• RQ4 실제로 비정규 분포 지연 분포에 대해 시스템은 얼마나 강건한가?
• RQ5 동적이고 공유되는 환경에서 이론적 오라클 성능에 근접한 성능을 달성하면서도 런타임 오버헤드를 최소화할 수 있는가?

주요 결과

• ALERT는 응용 프로그램 또는 시스템 수준에서만 적응하는 이전의 접근 방식보다 에너지 소비를 13% 이상 줄였다.
• ALERT는 비협조적 적응 방법보다 DNN 추론 오류를 27% 낮게 달성하여 동적 제약 조건 하에서도 정확도를 크게 향상시켰다.
• ALERT는 응용 프로그램 및 시스템 상태에 대한 완벽한 지식을 가진 이상적인 오라클 시스템에 비해 에너지 소비는 3% 더 많고 추론 오류는 2% 더 높을 뿐이다.
• 지연 추정의 평균과 분산을 모두 사용하는 ALERT의 확률적 설계는 단지 평균 지연 예측에 의존하는 단순화된 모델보다 우수한 성능을 보였다.
• ALERT는 관측된 지연 변동성이 정규 분포 가정에서 벗어나도 높은 정확도를 유지하면서 비정규 분포 지연 분포에 대해 강건함을 입증했다.
• 전체 구성에 대한 동시 예측을 가능하게 하는 글로벌 느려짐 요소 모델 덕분에 ALERT는 단일 입력 지연 내에 빠른 반응 시간을 보였다.