[논문 리뷰] Enabling Large Neural Networks on Tiny Microcontrollers with Swapping

Miao Hong-yu, Felix Xiaozhu Lin|arXiv (Cornell University)|2021. 01. 14.

Advanced Memory and Neural Computing참고 문헌 28인용 수 11

한 줄 요약

이 논문은 마이크로컨트롤러(MCU)가 내장된 SRAM보다 훨씬 큰 신경망(NN)을 실행할 수 있도록 하는 시스템 수준의 솔루션인 SwapNN을 제안한다. 이는 SRAM과 외부 플래시 메모리 간에 데이터 타일을 동적으로 스위칭하여 구현되며, I/O/계산의 병렬성과 MCU 하드웨어 기능을 활용함으로써 성능, 에너지, 보안 오버헤드를 거의 느끼지 못하면서도 정확도를 유지한다. 결과적으로 MCU는 SRAM 크기의 최대 1000배까지 큰 모델을 실행할 수 있게 된다.

ABSTRACT

Running neural networks (NNs) on microcontroller units (MCUs) is becoming increasingly important, but is very difficult due to the tiny SRAM size of MCU. Prior work proposes many algorithm-level techniques to reduce NN memory footprints, but all at the cost of sacrificing accuracy and generality, which disqualifies MCUs for many important use cases. We investigate a system solution for MCUs to execute NNs out of core: dynamically swapping NN data chunks between an MCU's tiny SRAM and its large, low-cost external flash. Out-of-core NNs on MCUs raise multiple concerns: execution slowdown, storage wear out, energy consumption, and data security. We present a study showing that none is a showstopper; the key benefit -- MCUs being able to run large NNs with full accuracy and generality -- triumphs the overheads. Our findings suggest that MCUs can play a much greater role in edge intelligence.

연구 동기 및 목표

• SRAM이 수십~수백 KB 밖에 없는 메모리 제약이 있는 마이크로컨트롤러(MCU)에서 대규모 고정확도 신경망을 실행하는 데 있어 핵심 과제를 해결한다.
• 기존의 모델 압축 및 양자화 기법이 메모리에 맞추기 위해 정확도와 일반화 능력을 희생시키는 데서 비롯되는 한계를 극복한다.
• 외부 메모리에 저장된 데이터를 동적으로 스위칭하는 '오브코어 실행'이 MCU에서 실현 가능하다는 것을 입증한다. 이는 I/O 오버헤드, 내구성, 에너지 소비, 보안 우려에도 불구하고 가능하다.
• 성능 저하를 최소화하고 하드웨어 활용도를 극대화하기 위해 I/O와 계산을 효율적으로 오버랩하는 스케줄러(SwapNN)를 개발한다.
• MCU가 이제 수정되지 않은 대규모 신경망을 정확도와 일반화 능력을 그대로 유지한 채로 실행할 수 있게 되었으며, 이는 엣지 인텔리전스 분야에서 MCU의 역할을 확장시킨다.

제안 방법

• 각 신경망 레이어를 작은 관리 가능한 데이터 조각(타일)으로 나누어 MCU의 SRAM에 맞게 만드는 타일 기반의 오브코어 실행 모델을 설계한다.
• I/O와 계산을 다양한 수준에서 오버랩하는 병렬 스케줄러(SwapNN)를 구현한다: 레이어 내부(타일 수준), 레이어 간(레이어 수준), 데이터 프레임 간(파이프라인 수준).
• 대부분의 신경망 레이어(특히 컨볼루션 레이어)가 계산에 의해 제한되므로, I/O 지연은 더 긴 계산 시간으로 자연스럽게 가림된다.
• 하드웨어 가속 암호화(예: AES)와 해시 기반 무결성 검사 기능을 활용해 외부 메모리에 저장된 데이터의 기밀성과 무결성을 보장한다.
• DMA, 암호 가속기, SD 카드의 과잉 비례 내구성 등 MCU 수준의 하드웨어 기능을 활용하여 에너지 소비와 내구성 문제를 줄인다.
• 기존 추론 프레임워크(예: TensorFlow Lite Micro, CMSIS-NN)에 투명한 확장 기능으로 통합하여 신경망 아키텍처를 수정하지 않고도 대규모 모델을 지원한다.

실험 결과

연구 질문

• RQ1 제한된 SRAM과 느린 외부 플래시 메모리에 의존하는 MCU에서 오브코어 신경망 추론이 실용적으로 가능할 수 있는가?
• RQ2 SRAM과 외부 플래시 간의 스위칭으로 인한 I/O 오버헤드가 추론 속도를 크게 저하시키는가, 아니면 효과적인 작업 스케줄링으로 이를 숨길 수 있는가?
• RQ3 빈번한 I/O 작업이 SD 카드의 내구성에 미치는 영향은 무엇이며, 하드웨어 과잉 비례와 간헐적인 액세스 패턴을 통해 이를 완화할 수 있는가?
• RQ4 이미 바쁜 MCU에서 I/O 작업 추가로 인해 에너지 소비가 크게 증가하는가, 그리고 이를 최소화할 수 있는가?
• RQ5 SD 카드와 같은 신뢰할 수 없는 스토리지에 저장된 신경망 가중치와 활성화맵의 데이터 기밀성과 무결성을 보장할 수 있는가?

주요 결과

• MCU에서 오브코어 추론과 스위칭이 가능하다: 시스템은 VGG16, MobileNet, AlexNet 등 대규모 신경망을 최대 340KB의 SRAM으로 실행할 수 있으며, 가용 SRAM보다 최대 1000배 큰 모델을 지원한다.
• I/O 오버헤드는 미미하다. 대부분의 레이어(특히 컨볼루션 레이어)가 계산에 의해 제한되므로, I/O 지연은 더 긴 계산 시간으로 자연스럽게 가려지며, 특히 저클럭 속도 MCU에서 더욱 두드러진다.
• SD 카드의 내구성 문제는 간헐적인 I/O 액세스 패턴 덕분에 문제가 되지 않는다. I/O는 계산에 의해 제한되는 레이어 간에만 활성화되며, 하드웨어 과잉 비례 덕분에 중량 사용 조건에서도 10년 이상의 쓰기 내구 수명을 확보할 수 있다.
• I/O로 인한 에너지 소비는 미미하다. 계산 중이기 때문에 MCU는 이미 고전력 상태에 있으므로, SD 카드를 활성화하는 데 추가되는 에너지 비용은 매우 작다.
• 하드웨어 가속 암호화 및 무결성 검사(예: AES, SHA)를 통해 데이터 보안을 확보할 수 있으며, 성능에 거의 영향을 주지 않는다. 가장 느린 신경망 연산 수준과 유사한 오버헤드를 가진다.
• 시스템은 압축 기반 접근 방식이 메모리 절약을 위해 정확도를 희생시키는 것과 달리, 전체 모델 정확도와 일반화 능력을 유지한다. 이는 테스트 기반 전이 학습 및 현장에서의 모델 프로파일링 등의 새로운 응용 가능성을 열어준다.