[논문 리뷰] Exploring Edge TPU for Network Intrusion Detection in IoT

Seyedehfaezeh Hosseininoorbin, Siamak Layeghy외 3명|arXiv (Cornell University)|2021. 03. 30.

Network Security and Intrusion Detection인용 수 7

한 줄 요약

이 논문은 IoT 엣지에서 딥러닝 기반 네트워크 침입 탐지 시스템(NIDS)을 구현하기 위해 Google의 Edge TPU를 평가하며, 인fer 시간, 에너지 효율성, 분류 성능 측면에서 ARM Cortex-A53 CPU와 비교한다. 놀랍게도 매우 작은 모델에서는 Cortex-A53이 Edge TPU를 앞서지만, 모델 크기가 특정 임계값을 초과하면 Edge TPU가 뛰어난 성능을 보이며, 이는 온칩 메모리 용량을 초과할 경우 발생하는 이중 성능 행동을 드러내며, 엣지 AI 배포 결정에 있어 매우 중요한 요소이다.

ABSTRACT

This paper explores Google's Edge TPU for implementing a practical network intrusion detection system (NIDS) at the edge of IoT, based on a deep learning approach. While there are a significant number of related works that explore machine learning based NIDS for the IoT edge, they generally do not consider the issue of the required computational and energy resources. The focus of this paper is the exploration of deep learning-based NIDS at the edge of IoT, and in particular the computational and energy efficiency. In particular, the paper studies Google's Edge TPU as a hardware platform, and considers the following three key metrics: computation (inference) time, energy efficiency and the traffic classification performance. Various scaled model sizes of two major deep neural network architectures are used to investigate these three metrics. The performance of the Edge TPU-based implementation is compared with that of an energy efficient embedded CPU (ARM Cortex A53). Our experimental evaluation shows some unexpected results, such as the fact that the CPU significantly outperforms the Edge TPU for small model sizes.

연구 동기 및 목표

• 자원이 제한된 IoT 엣지 디바이스에 딥러닝 기반 NIDS를 구현하는 실용성을 평가하는 것.
• Edge TPU와 일반 목적의 임베디드 CPU에서 추론 속도, 에너지 효율성, 탐지 정확도 간의 상호 상충 관계를 조사하는 것.
• IoT 보안 워크로드에서 Edge TPU에 효율적으로 배포하기 위한 최적의 모델 크기와 신경망 아키텍처를 규명하는 것.
• 특히 온칩 메모리 제약과 관련된 Edge TPU의 성능 저하 요인을 특정하는 것.

제안 방법

• 연구는 NIDS를 위해 스케일링된 모델 크기로 피드포워드 및 컨볼루션 신경망(CNN) 아키텍처 두 가지를 구현한다.
• 신경망 모델은 공개된 IoT 벤치마크 데이터셋을 사용해 훈련 및 평가되어 침입 탐지 성능을 분석한다.
• 추론은 Edge TPU 및 ARM Cortex-A53 플랫폼에서 수행되며, 인fer 시간, 에너지 소비, 분류 정확도로 성능를 측정한다.
• 모델 크기를 체계적으로 변화시켜 모델 복잡도가 하드웨어 효율성에 미치는 영향, 특히 8000 KiB 온칩 메모리 한계 근처에서의 영향을 탐색한다.
• 에너지 효율성은 분류 성능 대비 에너지 소비 비율로 계산되어 플랫폼 간 비교가 가능하다.
• Edge TPU의 이중 성능 행동은 모델 파rameter가 온칩 메모리 용량을 초과해 외부 메모리 접근이 필요로 할 때 성능 변화를 관찰함으로써 분석된다.

Figure 1: The feed forward neural network architecture

실험 결과

연구 질문

• RQ1 NIDS의 작은 및 큰 딥러닝 모델에 대해 Edge TPU의 인fer 시간은 ARM Cortex-A53과 어떻게 비교되는가?
• RQ2 다양한 모델 크기에서 Edge TPU의 에너지 효율성은 Cortex-A53에 비해 어떠한가?
• RQ3 Edge TPU가 인fer 속도와 에너지 효율성 측면에서 Cortex-A53를 앞서기 시작하는 모델 크기는 어느 정도인가?
• RQ4 Edge TPU의 온칩 메모리 용량은 성능에 어떤 영향을 미치며, 외부 메모리 접근이 효율성을 떨어뜨리는 임계점은 어디인가?
• RQ5 신경망 아키텍처 선택(피드포워드 대비 CNN)이 Edge TPU에서 성능과 에너지 효율성에 뚜렷한 영향을 미치는가?

주요 결과

• 매우 작은 모델 크기에서는 기대와는 반대로 ARM Cortex-A53이 인fer 시간과 에너지 효율성 측면에서 Edge TPU를 앞선다.
• 모델 크기가 약 8000 KiB인 온칩 메모리 용량을 초과하면 Edge TPU가 Cortex-A53보다 더 높은 에너지 효율성을 확보한다.
• 8000 KiB 이상의 임계값을 초과하면 외부 메모리 접근 증가로 인해 Edge TPU의 상대적 성능 이점이 감소하며, 이는 이중 성능 행동을 드러낸다.
• 모든 모델 크기에서 CNN 아키텍처는 피드포워드 아키텍처 대비 Edge TPU에서 8배 到 10배 높은 에너지 효율성을 보인다.
• 두 플랫폼 모두 모델 크기가 증가함에 따라 에너지 효율성이 저하되지만, 큰 모델에서는 Edge TPU가 뚜렷한 우위를 유지한다.
• Edge TPU의 성능는 온칩 메모리 용량 대비 모델 크기에 매우 민감하므로, 최적의 배포를 위해 모델 크기를 신중히 조정해야 한다.

Figure 2: The convolutional neural network (CNN) architecture