[논문 리뷰] Intelligence Beyond the Edge: Inference on Intermittent Embedded Systems

Graham Gobieski, Nathan Beckmann외 1명|arXiv (Cornell University)|2018. 09. 28.

Parallel Computing and Optimization Techniques참고 문헌 67인용 수 20

한 줄 요약

이 논문은 루프 계속 처리 기법을 도입하여 간헐적인 임베디드 시스템에서 에너지 수확 기반의 효율적인 딥 뉴럴 네트워크(DNN) 추론을 가능하게 하는 소프트웨어 시스템인 Sonic을 제안한다. 이 기법은 구조적이고 재진행 가능한 루프 처리를 통해 간헐적 실행에서의 오버헤드를 줄인다. Tails와 Genesis를 활용한 최적화된 소프트웨어-하드웨어 공동 설계를 통해 기존 최고 수준의 방법 대비 최대 12.2배의 에너지 절감을 달성한다.

ABSTRACT

Energy-harvesting technology provides a promising platform for future IoT applications. However, since communication is very expensive in these devices, applications will require inference "beyond the edge" to avoid wasting precious energy on pointless communication. We show that application performance is highly sensitive to inference accuracy. Unfortunately, accurate inference requires large amounts of computation and memory, and energy-harvesting systems are severely resource-constrained. Moreover, energy-harvesting systems operate intermittently, suffering frequent power failures that corrupt results and impede forward progress. This paper overcomes these challenges to present the first full-scale demonstration of DNN inference on an energy-harvesting system. We design and implement SONIC, an intermittence-aware software system with specialized support for DNN inference. SONIC introduces loop continuation, a new technique that dramatically reduces the cost of guaranteeing correct intermittent execution for loop-heavy code like DNN inference. To build a complete system, we further present GENESIS, a tool that automatically compresses networks to optimally balance inference accuracy and energy, and TAILS, which exploits SIMD hardware available in some microcontrollers to improve energy efficiency. Both SONIC & TAILS guarantee correct intermittent execution without any hand-tuning or performance loss across different power systems. Across three neural networks on a commercially available microcontroller, SONIC & TAILS reduce inference energy by 6.9x and 12.2x, respectively, over the state-of-the-art.

연구 동기 및 목표

• 통신 비용이 높은 에너지 수확 기반의 간헐적 임베디드 시스템에서 고정확도, 저에너지 DNN 추론을 가능하게 하기 위해.
• 메모리와 처리 능력이 제한된 자원이 부족한 마이크로컨트롤러에서의 간헐적 실행 도전 과제를 해결하기 위해.
• 특히 DNN 추론과 같은 루프 중심 워크로드에서 정확성 보장을 위한 오버헤드를 줄이기 위해.
• 자동화된 신경망 압축을 통해 추론 정확도와 에너지 소비 간의 트레이드오프를 최적화하기 위해.
• 소프트웨어(Sonic), 하드웨어 활용(Tails), 모델 압축(Genesis)을 결합한 포괄적인 스택 솔루션을 설계하여 종단 간 효율성을 달성하기 위해.

제안 방법

• 루프 계속 처리 기법을 도입하여, 루프 순서 기반 버퍼링과 희소 취소 로깅을 통해 재진행성 보장을 통해 안전하고 저오버헤드로 DNN 추론 루프를 실행할 수 있도록 한다.
• 비버퍼링 메모리의 선택적 수정과 전역 작업 기반 추상화 방지로 정확한 간헐적 실행을 보장하는 소프트웨어 시스템인 Sonic을 설계한다.
• 마이크로컨트롤러의 SIMD 하드웨어를 활용하여 DNN 추론 중 에너지 효율을 향상시키는 Tails 시스템을 개발한다.
• IoT 응용 프로그램을 위한 추론 정확도와 에너지 소비 간 최적의 균형을 확보하기 위해 신경망을 자동으로 압축하는 도구인 Genesis을 개발한다.
• 컨볼루션 레이어에는 루프 순서 기반 버퍼링, 완전 연결 레이어에는 희소 취소 로깅을 적용하여 전원 장애 발생 시에도 정확성을 보장한다.
• 소프트웨어, 하드웨어 인식 컴파일러, 모델 압축을 결합한 종합적 접근을 통해 정확도를 유지하면서 에너지 오버헤드를 최소화한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 자원 제약이 심한 에너지 수확 기반의 간헐적 임베디드 시스템에서 DNN 추론을 효율적으로 실행할 수 있는가?
• RQ2 특히 DNN 추론과 같은 루프 중심 코드에서 간헐적 시스템의 정확한 실행을 보장하기 위한 오버헤드를 줄일 수 있는 기법은 무엇인가?
• RQ3 자원이 제한된 IoT 기기에서 추론 정확도와 에너지 소비 간의 트레이드오프를 자동으로 최적화할 수 있는가?
• RQ4 SIMD와 같은 하드웨어 기능을 효과적으로 활용하여 간헐적 DNN 추론의 에너지 효율을 향상시킬 수 있는가?
• RQ5 공용 마이크로컨트롤러에서 간헐적 전원을 사용하는 환경에서 효율적이고 정확한 실행을 가능하게 하는 아키텍처 및 소프트웨어 공동 설계 원칙은 무엇인가?

주요 결과

• Sonic은 간헐적 실행 시스템에서 기존 최고 수준의 방법 대비 최대 6.9배의 추론 에너지 절감을 달성한다.
• Tails는 마이크로컨트롤러에서 효율적인 계산을 위해 SIMD 하드웨어를 활용함으로써 추론 에너지를 12.2배 감소시킨다.
• Sonic과 Tails의 조합은 간헐적 전원을 사용하는 상용 마이크로컨트롤러에서 전체 DNN 추론을 가능하게 하여, 처음으로 종단 간 시스템을 실현한다.
• Genesis는 정확도와 에너지 소비 간 균형을 고려하여 응용 프로그램 수준 성능을 극대화하는 방식으로 신경망을 자동으로 압축한다.
• 루프 계속 처리 기법은 DNN 추론의 규칙적인 구조를 활용하여 일반적인 간헐적 실행 메커니즘의 높은 비용을 피함으로써 오버헤드를 줄인다.
• 손동작 조정 없이도 다양한 전원 시스템에서 정확한 실행을 달성하며 성능 손실 없이도 안정성과 이식성을 입증한다.