[논문 리뷰] Adaptive Extreme Edge Computing for Wearable Devices

Erika Covi, Elisa Donati외 5명|arXiv (Cornell University)|2020. 12. 29.

Advanced Memory and Neural Computing참고 문헌 249인용 수 7

한 줄 요약

이 논문은 웨어러블 기기에서 적응형 극한 엣지 컴퓨팅을 위한 통합적이고 공동 설계된 플랫폼을 제안하며, 뉴모르픽 프로세서, 메모리스티브 메모리, 생물학적으로 타당한 학습 알고리즘을 통합하여 저전력, 실시간, 지속적인 학습을 가능하게 한다. 이슬립 기반의 스파iking 신경망과 메모리 내 계산을 활용함으로써 지연 시간과 에너지 소비를 줄이고, 동적 센서 데이터에 대한 장치 내 적응을 지원한다.

ABSTRACT

Wearable devices are a fast-growing technology with impact on personal healthcare for both society and economy. Due to the widespread of sensors in pervasive and distributed networks, power consumption, processing speed, and system adaptation are vital in future smart wearable devices. The visioning and forecasting of how to bring computation to the edge in smart sensors have already begun, with an aspiration to provide adaptive extreme edge computing. Here, we provide a holistic view of hardware and theoretical solutions towards smart wearable devices that can provide guidance to research in this pervasive computing era. We propose various solutions for biologically plausible models for continual learning in neuromorphic computing technologies for wearable sensors. To envision this concept, we provide a systematic outline in which prospective low power and low latency scenarios of wearable sensors in neuromorphic platforms are expected. We successively describe vital potential landscapes of neuromorphic processors exploiting complementary metal-oxide semiconductors (CMOS) and emerging memory technologies (e.g. memristive devices). Furthermore, we evaluate the requirements for edge computing within wearable devices in terms of footprint, power consumption, latency, and data size. We additionally investigate the challenges beyond neuromorphic computing hardware, algorithms and devices that could impede enhancement of adaptive edge computing in smart wearable devices.

연구 동기 및 목표

• 고전적인 클라우드 기반 처리 방식이 웨어러블 기기에서 겪는 고전압 소비, 지연, 데이터 전송 병목 현상 등의 한계를 해결한다.
• 실시간 생체신호를 처리하는 데 있어 보빈-뉴먼 아키텍처의 비효율성을 극복하기 위해 계산을 엣지로 이동시킨다.
• catastrophic forgetting을 줄이는 생물학적으로 영감을 받은 알고리즘을 통해 웨어러블 센서에서 지속적이고 적응형 학습을 가능하게 한다.
• 특히 메모리스티브 장치를 포함한 신개념 기술을 뉴모르픽 하드웨어에 통합하여 에너지 효율성과 비버니셔블성을 향상시킨다.
• 센서, 프론트엔드 회로, 뉴모르픽 프로세서, 학습 알고리즘을 통합하여 낮은 점유면적과 저전력의 통합 시스템을 구현한다.

제안 방법

• 생물학적 신경 동역학을 모방하여 이벤트 기반의 스파킹 신경망(SNNs)을 사용해 비동기적이고 저전력으로 센서 데이터를 처리한다.
• CMOS와 메모리스티브 장치를 활용해 메모리 내 계산을 구현하여 메모리와 처리를 근접하게 배치함으로써 데이터 이동과 에너지 소비를 최소화한다.
• 스위치의 가중치 저장을 위해 SRAM 대신 비버니셔블 메모리스티브 장치를 사용하여 전력 소비와 칩 면적을 감소시킨다.
• 생물학적 시간 상수를 모방하기 위해 아날로그 서브스브리티 회로를 통합하여 시간적 생체신호의 실시간 연속 처리를 가능하게 한다.
• 센서와 뉴모르픽 프로세서 간의 스트림리스, 효율적인 통신을 가능하게 하는 새로운 스파이크 인코딩 기법을 개발한다.
• 센서 인터페이스에서 학습 알고리즘에 이르기까지 전체 시스템 스택을 공동 설계하여 하드웨어와 소프트웨어 계층 간의 호환성과 최적의 성능을 확보한다.

실험 결과

연구 질문

• RQ1 뉴모르픽 컴퓨팅 아키텍처는 기존의 보빈-뉴먼 시스템에 비해 웨어러블 생체 센서에서 전력 소비와 지연 시간을 어떻게 줄일 수 있는가?
• RQ2 메모리스티브 장치는 엣지 뉴모르픽 프로세서에서 비버니셔블, 컴acts, 에너지 효율적인 시냅스 저장을 위해 어떤 역할을 하는가?
• RQ3 SNN에서 생물학적으로 타당한 학습 규칙은 웨어러블 기기에서 치명적인 잊힘 없이 지속적인 학습을 어떻게 지원하는가?
• RQ4 엣지 컴퓨팅 웨어러블 플랫폼에서 풋프린트, 전력, 지연 시간, 데이터 크기 간의 주요 시스템 수준의 트레이드오프는 무엇인가?
• RQ5 이벤트 기반 처리와 메모리 내 계산을 어떻게 공동 최적화하여 연속적인 생체신호의 실시간, 적응형 처리를 가능하게 하는가?

주요 결과

• 이벤트 기반 SNN과 메모리 내 계산의 조합은 데이터 이동과 전력 소비를 줄여 저지연 실시간 처리를 가능하게 한다.
• 메모리스티브 장치는 시냅스 가중치 저장을 위한 컴팩트하고 비버니셔블한 대안을 제공하며, CMOS 커패시터 대비 최대 60%까지 칩 면적을 감소시킬 수 있다.
• SNN에서 생물학적으로 타당한 학습 규칙은 지속적 학습을 지원하지만, 하드웨어 노이즈와 장치 변동성에 대한 강건성 문제는 여전히 남아 있다.
• 센서에서 학습 알고리즘에 이르기까지 전체 시스템 스택을 공동 설계함으로써 통합 최적화를 실현하여 에너지 효율성과 시스템 성능을 향상시킨다.
• 아날로그 서브스브리티 회로와 스파이크 인코딩 기법의 통합은 최소한의 전력 오버헤드로 시간적 생체신호의 원활한 실시간 처리를 가능하게 한다.
• 진전이 있었음에도 불구하고, 장치 변동성과 메모리스티브 기술의 표준화된 제조 공정 부족은 신뢰성 있는 구현을 위한 주요 장벽으로 남아 있다.