[논문 리뷰] Characterization of Neural Networks Automatically Mapped on Automotive-grade Microcontrollers

Giulia Crocioni, Giambattista Gruosso외 4명|arXiv (Cornell University)|2021. 02. 27.

Advanced Battery Technologies Research참고 문헌 29인용 수 6

한 줄 요약

이 논문은 실시간 엣지 추론을 위한 자동차용 마이크로컨트롤러에 사전 훈련된 신경망을 구현하기 위한 프레임워크를 제시한다. 이는 CAN 버스 침입 탐지 및 리이온 이온 배터리 잔여 용량 추정에 효과적임을 입증한다. 모델들은 SPC58NH 마이크로컨트롤러에서 5ms 이내의 추론 시간을 달성하며, 플래시 메모리 36KB 이하, 램 3KB 이하의 자동차 안전 및 성능 제약 조건을 충족한다.

ABSTRACT

Nowadays, Neural Networks represent a major expectation for the realization of powerful Deep Learning algorithms, which can determine several physical systems' behaviors and operations. Computational resources required for model, training, and running are large, especially when related to the amount of data that Neural Networks typically need to generalize. The latest TinyML technologies allow integrating pre-trained models on embedded systems, allowing making computing at the edge faster, cheaper, and safer. Although these technologies originated in the consumer and industrial worlds, many sectors can greatly benefit from them, such as the automotive industry. In this paper, we present a framework for implementing Neural Network-based models on a family of automotive Microcontrollers, showing their efficiency in two case studies applied to vehicles: intrusion detection on the Controller Area Network bus and residual capacity estimation in Lithium-Ion batteries, widely used in Electric Vehicles.

연구 동기 및 목표

• 자원이 제한된 자동차용 마이크로컨트롤러에서 사전 훈련된 신경망의 현장 추론을 가능하게 하기 위해.
• 메모리와 처리 능력이 제한된 안전 중심 자동차 시스템에 복잡한 신경망을 구현하는 데 도전하는 데에.
• CAN 버스 침입 탐지 및 리이온 이온 배터리 상태 수명 추정이라는 두 가지 핵심 자동차 응용 분야에서 TinyML의 실현 가능성과 효율성을 검증하기 위해.
• 다양한 자동차 MCU를 대상으로 플래시, 램, 추론 시간 측면에서 모델 복잡도를 프로파일링하기 위해.

제안 방법

• 시간 시리즈 데이터 처리를 위해 1D 컨볼루션 레이어, 맥스 풀링, 그리고 TanH 활성화 함수를 사용한 LSTM 레이어를 포함한 하이브리드 CNN-LSTM 아키텍처를 설계하였다.
• CAN 버스 트래픽의 이면적 탐지에 LSTM 오토인코더를 사용하였으며, 입력은 MinMaxScaler를 통해 정규화되었고, Adam 옵timizer와 MSE 손실을 사용하여 훈련되었다.
• 배터리 용량 추정을 위한 CNN-LSTM 모델은 20개의 타임스텝과 4개의 특징을 사용하였으며, 단일 밀집 출력 레이어와 MAE를 평가 지표로 사용하였다.
• SPC5-STUDIO AI 플러그인을 사용하여 사전 훈련된 모델을 세 대의 자동차 MCU(SPC584B, SPC58EC, SPC58NH)에 자동으로 매핑하였다.
• 모든 MCU를 대상으로 플래시 메모리, 램 사용량, 평균 추론 시간을 측정하여 모델 복잡도를 프로파일링하였다.
• 모델은 서로 다른 랜덤 시드를 사용해 10번 훈련하여 강건성을 확보하였으며, 검증 시 원본 모델의 출력을 기준값으로 사용해 100% 교차 정확도를 달성하였다.

실험 결과

연구 질문

• RQ1 사전 훈련된 신경망은 안전 중심 응용 분야에서 자동차용 마이크로컨트롤러에 효과적으로 구현되어 실시간 엣지 추론이 가능한가?
• RQ2 신경망 모델이 자동차 MCU에 매핑되었을 때의 계산 복잡도(플래시, 램, 추론 시간)는 어떠한가?
• RQ3 다양한 MCU 클럭 주파수는 임베디드 신경망 구현의 추론 성능에 어떤 영향을 미치는가?
• RQ4 신경망은 엄격한 메모리 및 지연 제약 조건 내에서 CAN 버스 침입 탐지 및 리이온 이온 배터리 용량 추정에 대해 수용 가능한 정확도를 달성할 수 있는가?
• RQ5 모델 아키텍처(예: LSTM 오토인코더 대비 CNN-LSTM)는 자동차 MCU에서 자원 활용도와 추론 효율성에 어떤 영향을 미치는가?

주요 결과

• LSTM 오토인코더는 SPC58NH 마이크로컨트롤러에서 평균 6ms의 추론 시간을 기록하였으며, 플래시 24.92KB, 램 4.05KB를 사용하였다.
• CNN-LSTM 모델은 플래시 35.13KB, 램 2.25KB를 사용하였으며, SPC58NH 마이크로컨트롤러에서 평균 3.86ms의 추론 시간을 기록하였다.
• CNN-LSTM 모델은 잔여 용량 추정에서 평균 절대 오차(MAE)가 0.0434를 기록하여 전기차 기준 허용 범위 ±0.05 이내였다.
• 두 모델 모두 LSTM 레이어가 가장 자원을 많이 소비하는 구성 요소였으며, 플래시, 램, 실행 시간의 비율이 가장 높았다.
• 추론 시간은 MCU 클럭 주파수가 증가함에 따라 선형적으로 감소하였으며, SPC58NH가 두 모델 모두에서 가장 빠른 성능을 보였다.
• 검증 과정에서 두 모델 모두 100% 교차 정확도를 달성하여 C-모델 매핑 프로세스의 정밀도가 확인되었다.