[논문 리뷰] The Case for Retraining of ML Models for IoT Device Identification at the Edge

Roman Kolcun, Diana Andreea Popescu외 6명|arXiv (Cornell University)|2020. 11. 17.

Internet Traffic Analysis and Secure E-voting참고 문헌 37인용 수 17

한 줄 요약

이 논문은 로컬 네트워크 트래픽 데이터를 사용하여 정확한 IoT 기기 식별을 위한 엣지 기반 재학습 기법을 제안한다. 가정용 데이터로 현장에서 신경망 모델을 재학습함으로써, 이 접근법은 80% 이상의 기기 식별 정확도와 90% 이상의 카테고리 분류 F1 스코어를 달성하였으며, 동적인 가정 IoT 환경에서 정확도 저하를 방지하기 위해 지속적인 로컬 모델 업데이트가 필수적임을 입증한다.

ABSTRACT

Internet-of-Things (IoT) devices are known to be the source of many security problems, and as such they would greatly benefit from automated management. This requires robustly identifying devices so that appropriate network security policies can be applied. We address this challenge by exploring how to accurately identify IoT devices based on their network behavior, using resources available at the edge of the network. In this paper, we compare the accuracy of five different machine learning models (tree-based and neural network-based) for identifying IoT devices by using packet trace data from a large IoT test-bed, showing that all models need to be updated over time to avoid significant degradation in accuracy. In order to effectively update the models, we find that it is necessary to use data gathered from the deployment environment, e.g., the household. We therefore evaluate our approach using hardware resources and data sources representative of those that would be available at the edge of the network, such as in an IoT deployment. We show that updating neural network-based models at the edge is feasible, as they require low computational and memory resources and their structure is amenable to being updated. Our results show that it is possible to achieve device identification and categorization with over 80% and 90% accuracy respectively at the edge.

연구 동기 및 목표

• 시간이 지남에 따라 사용되는 정적 사전 학습된 머신러닝 모델의 정확도가 저하되는 심각한 문제를 해결하기 위해.
• 현장의 가정용 네트워크 데이터를 사용해 엣지에서 모델을 재학습하는 것이 높은 식별 정확도를 유지하는 데 기여하는지 평가하기 위해.
• 자원 제약이 있는 엣지 장치(예: 라즈베리파이)에서 머신러닝 모델을 업데이트하는 것이 가능한지 검토하기 위해.
• 신경망의 레이어를 동결하는 것이 엣지 재학습 중 훈련 속도와 모델 정확도에 미치는 영향을 평가하기 위해.
• 글로벌로 학습된 모델이 다양한 가정 간에 실패함을 입증함으로써 현지 적응이 필수적임을 보여주기 위해.

제안 방법

• 43개의 IoT 기기에서 수집한 패킷 트레이스 데이터를 바탕으로 랜덤 포레스트, 의사결정트리, 그리고 세 가지 신경망 아키텍처를 포함한 다섯 가지 머신러닝 모델을 훈련하고 평가하였다.
• 정확도 저하 여부를 감시하기 위해 시간 경과에 따라 정확도를 모니터링하였으며, 현장 배포 환경에서 수집한 로컬 데이터를 사용해 재학습을 수행하였다.
• 실제 게이트웨이 환경의 제약 조건을 시뮬레이션하기 위해 라즈베리파이 4를 사용해 엣지 재학습을 구현하였으며, 계산 및 메모리 오버헤드를 평가하였다.
• 훈련 비용을 줄이기 위해 신경망에 레이어 동결을 적용하였으며, 다양한 동결 설정에서 정확도에 미치는 영향을 정량화하였다.
• 동일한 가정에서 수집한 활성 네트워크 트래픽 데이터를 사용해 모델을 재학습하였으며, 내부 및 외부 가정 테스트 세트에서 성능을 평가하였다.
• 기기 및 카테고리 분류 성능 평가를 위해 F1 스코어와 정확도를 주요 지표로 사용하였다.

실험 결과

연구 질문

• RQ1 IoT 기기 식별을 위한 머신러닝 모델이 재학습 없이도 장기간에 걸쳐 높은 정확도를 유지할 수 있는가?
• RQ2 글로벌로 학습된 모델과 비교해 가정용 네트워크 데이터로 재학습하면 식별 정확도가 뚜렷이 향상되는가?
• RQ3 자원 제약이 있는 장치(예: 라즈베리파이)를 사용해 엣지에서 모델 재학습이 가능한가?
• RQ4 신경망의 레이어를 동결함으로써 훈련 시간을 얼마나 줄일 수 있으며, 이로 인해 모델 정확도가 유의미하게 떨어지는가?
• RQ5 한 가정에서 학습된 모델이 기기 구성과 사용 패턴이 다른 다른 가정에 대해 얼마나 잘 일반화되는가?

주요 결과

• 나이빙 기반 및 신경망 기반을 포함한 평가된 다섯 개의 모델 모두 시간이 지남에 따라 심각한 정확도 저하를 보였으며, 1일 후 78%에서 2주 후 52%로 감소하였다.
• 정지 상태 데이터로 학습된 모델는 동일한 테스트베드의 활성 데이터에서 뿐만 아니라 다른 테스트베드의 데이터에서 각각 30%와 15%의 정확도에 머물렀다.
• 가정 내 활성 데이터로 모델을 재학습함으로써 동일 가정 내 기기 식별 정확도를 30%에서 78%로 향상시켰지만, 다른 가정에서는 거의 영향을 받지 않았다(33%로 약간 상승).
• 라즈베리파이 4에서의 엣지 재학습은 가능하며, 모델 업데이트에 소요되는 계산 및 메모리 자원이 매우 낮았다.
• 신경망의 레이어를 동결함으로써 훈련 시간을 66% 이상 단축시켰고, 정확도 저하도 2% 미만으로 유지하였다.
• 로컬 데이터로 재학습한 모델의 기기 카테고리 분류 F1 스코어는 90%를 초과하여 정책 시행에 있어 높은 신뢰성을 확인하였다.