[논문 리뷰] Externally validating the IoTDevID device identification methodology using the CIC IoT 2022 Dataset

Kahraman Kostas, Mike Just외 1명|arXiv (Cornell University)|2023. 07. 03.

Internet Traffic Analysis and Secure E-votingComputer Science인용 수 3

한 줄 요약

이 논문은 CIC-IoT-2022 데이터셋을 사용하여 IoTDevID 장치 식별 방법론을 외부적으로 검증하며, 특징 집합과 집계 알고리즘의 조합이 31개의 IP 전용 장치 클래스에서 92.50의 F1 스코어를 기록하는 강력한 성능을 달성함을 보여준다. 이는 특히 데이터 수와 다양성이 모델 성공에 결정적인 역할을 하며, 데이터가 적은 비-IP 장치의 경우 더욱 두드러진다.

ABSTRACT

In the era of rapid IoT device proliferation, recognizing, diagnosing, and securing these devices are crucial tasks. The IoTDevID method (IEEE Internet of Things 2022) proposes a machine learning approach for device identification using network packet features. In this article we present a validation study of the IoTDevID method by testing core components, namely its feature set and its aggregation algorithm, on a new dataset. The new dataset (CIC-IoT-2022) offers several advantages over earlier datasets, including a larger number of devices, multiple instances of the same device, both IP and non-IP device data, normal (benign) usage data, and diverse usage profiles, such as active and idle states. Using this independent dataset, we explore the validity of IoTDevID's core components, and also examine the impacts of the new data on model performance. Our results indicate that data diversity is important to model performance. For example, models trained with active usage data outperformed those trained with idle usage data, and multiple usage data similarly improved performance. Results for IoTDevID were strong with a 92.50 F1 score for 31 IP-only device classes, similar to our results on previous datasets. In all cases, the IoTDevID aggregation algorithm improved model performance. For non-IP devices we obtained a 78.80 F1 score for 40 device classes, though with much less data, confirming that data quantity is also important to model performance.

연구 동기 및 목표

• 새로운 더 포괄적인 데이터셋을 사용하여 IoTDevID 방법론을 외부적으로 검증함으로써 그 견고성과 일반화 능력을 평가하는 것.
• 활동 상태 대비 정지 상태와 같은 사용자 행동 유형의 다양성 등 데이터 다양성이 모델 성능에 미치는 영향을 평가하는 것.
• 이상적인 환경에서 다양한 장치 유형을 가진 실제 환경 조건에서 IoTDevID의 특징 선택 및 집계 알고리즘의 효과성을 검토하는 것.
• 특히 훈련 샘플 수가 적은 비-IP 장치의 경우 데이터의 양과 질이 식별 정확도에 미치는 영향을 조사하는 것.
• 데이터 유출을 방지하고 고립된 훈련/테스트 분할을 사용함으로써 재현 가능성을 높이는 방법론적 엄밀함을 확보하는 것.

제안 방법

• 연구는 CIC-IoT-2022 데이터셋에 IoTDevID 프레임워크를 적용하며, 이 데이터셋은 IP 및 비-IP 장치(예: ZigBee, Z-Wave)를 포함하며, 활동 상태와 정지 상태의 사용 프로파일을 모두 수용한다.
• 유전 알고리즘을 사용한 다단계 특징 선택 과정을 통해 세션 기반 식별자(예: 포트 번호, 시퀀스 번호)와 같은 과적합을 유발하기 쉬운 특징을 제거한다.
• 핵심 집계 알고리즘은 유사하게 모델링된 패킷을 통합하여 노이즈를 줄이고 특징의 일관성을 높임으로써 식별 정확도를 향상시킨다.
• 데이터 유출을 방지하기 위해 고립된 데이터 분할을 사용하여 훈련 및 테스트를 수행하며, 유효한 성능 추정을 보장한다.
• 표준 평가 지표인 정밀도, 재현율, F1 스코어를 사용하여 성능을 평가하며, 매크로 평균 및 가중 평균을 보고한다.
• 실험은 활동 상태, 정지 상태, 그리고 병합된 사용 프로파일 등 다양한 데이터 조건에서 모델 성능을 비교한다.

Figure 1: Example transfer problem in the Aalto dataset. Network data is collected at the gateway. Between D-LinkDoorSensor and D-LinkHomeHub there is only Z-Wave as a communication medium. Between D-LinkHomeHub and the gateway, there is only Ethernet. Data from the D-LinkDoorSensor is decapsulated

실험 결과

연구 질문

• RQ1 CIC-IoT-2022와 같이 더 크고 다양한 새로운 데이터셋에 대해 IoTDevID 방법론이 잘 일반화되는가?
• RQ2 특히 활동 대비 정지 상태 장치 사용에 따라 장치 식별 모델의 성능에 어떤 영향을 미치는가?
• RQ3 IoTDevID 집계 알고리즘이 다양한 장치 유형에 걸쳐 식별 정확도를 얼마나 향상시키는가?
• RQ4 데이터의 양과 질이 성능에 미치는 영향은 어떠한가, 특히 훈련 샘플 수가 적은 비-IP 장치의 경우 어떻게 되는가?
• RQ5 다양한 장치 특성과 사용 프로파일을 가진 실제 데이터에서 IoTDevID 프레임워크가 높은 성능을 유지할 수 있는가?

주요 결과

• IoTDevID 방법은 활동 상태 데이터에서 31개의 IP 전용 장치 클래스에서 92.50의 F1 스코어를 기록하여 강력한 일반화 능력과 견고성을 확인하였다.
• 활동 상태 데이터로 훈련된 모델이 정지 상태 데이터로 훈련된 모델보다 성능이 뛰어나, 데이터 다양성이 모델 성능 향상에 결정적인 영향을 미친다는 것을 시사한다.
• IoTDevID 집계 알고리즘은 IP 장치에 대해 일관되게 성능 향상을 이끌었지만, 공유된 MAC 주소로 인해 예외 처리가 발생함에 따라 비-IP 장치에는 영향을 미치지 않았다.
• 비-IP 장치의 경우 40개의 장치 클래스에서 78.80의 F1 스코어를 기록했지만, 패킷 수와 F1 스코어 간의 부정적 상관관계로 인해 훈련 데이터 부족으로 인해 성능이 제한되었다.
• 비-IP 장치의 포함이 IP 장치의 성능을 떨어뜨리지 않았으며, 소나스 원 스피커와 같은 소수의 예외를 제외하고는 메서드의 다양한 장치 유형에 대한 안정성을 시사한다.
• 적절한 데이터 분할 및 특징 선택 기법을 적용할 경우, IoT 장치 식별에서 데이터 유출과 특징 과적합을 방지할 수 있음을 연구가 확인했다.

Figure 2: Steps of the IoTDevID study.