[논문 리뷰] A Review of Intrusion Detection Systems and Their Evaluation in the IoT

Luca Arnaboldi, C. Morisset|arXiv (Cornell University)|2021. 05. 17.

Network Security and Intrusion Detection참고 문헌 86인용 수 5

한 줄 요약

이 논문은 2008년에서 2018년 사이에 발표된 인터넷 사물(IoT)을 대상으로 한 51篇의 침입 탐지 시스템(IDS) 연구를 종합적으로 검토하여 탐지 기법, 평가 방법, 구현 과제를 분석한다. 연구는 코드 공유 부족, 데이터셋 표준화 부족, 상호 평가 부족을 심각한 문제로 지적하며, IoT IDS 연구 분야에서 통합된 기준과 더 나은 재현 가능성 확보를 촉구한다.

ABSTRACT

Intrusion Detection Systems (IDS) are key components for securing critical infrastructures, capable of detecting malicious activities on networks or hosts. The procedure of implementing a IDS for Internet of Things (IoT) networks is not without challenges due to the variability of these systems and specifically the difficulty in accessing data. The specifics of these very constrained devices render the design of an IDS capable of dealing with the varied attacks a very challenging problem and a very active research subject. In the current state of literature, a number of approaches have been proposed to improve the efficiency of intrusion detection, catering to some of these limitations, such as resource constraints and mobility. In this article, we review works on IDS specifically for these kinds of devices from 2008 to 2018, collecting a total of 51 different IDS papers. We summarise the current themes of the field, summarise the techniques employed to train and deploy the IDSs and provide a qualitative evaluations of these approaches. While these works provide valuable insights and solutions for sub-parts of these constraints, we discuss the limitations of these solutions as a whole, in particular what kinds of attacks these approaches struggle to detect and the setup limitations that are unique to this kind of system. We find that although several paper claim novelty of their approach little inter paper comparisons have been made, that there is a dire need for sharing of datasets and almost no shared code repositories, consequently raising the need for a thorough comparative evaluation.

연구 동기 및 목표

• 2008년에서 2018년 사이의 IoT 침입 탐지 시스템(IDS) 분야의 최신 기술 동향을 분석하기 위해.
• IoT IDS 연구에서 일반적으로 사용되는 기법, 평가 지표, 구현 전략을 특정하기 위해.
• 기존 연구에서의 재현 불가능성과 상호 평가 부족 원인을 조사하기 위해.
• 공유 가능한 데이터셋, 소스 코드 리포지터리, 표준화된 평가 프레임워크의 부재를 부각하기 위해.
• 신규 IDS 기법 개발에서 벗어나 도구의 사용성, 상호운용성, 재현 가능성 향상을 위한 전환을 주장하기 위해.

제안 방법

• 2008년에서 2018년 사이에 발표된 IoT 시스템을 대상으로 한 51편의 IDS 논문을 체계적으로 검토하였다.
• 구현 및 평가 접근 방식에 따라 논문을 네 가지 범주로 분류하였다(예: 시뮬레이션, 실제 테스트베드, 코드 가용성 등).
• 84명의 저자에게 맞춤형 이메일 템플릿을 발송하여 소스 코드 및 데이터셋 접근을 요청하였다.
• 구조화된 연락 캠페인을 통해 도구의 가용성과 사용성 수준을 평가하였다.
• 문헌에서 사용된 평가 지표를 분석하여 정확도, 거짓 경고 비율, 실질적 구현 가능성을 중심으로 분석하였다.
• Etalle(2019)에서 제안한 표준 평가 지표의 활용을 제안하여 비교 가능성 및 도구 적합성 평가 향상을 도모하였다.

실험 결과

연구 질문

• RQ1 2008년에서 2018년 사이의 IoT IDS 연구에서 지배적인 탐지 기법과 아키텍처는 무엇인가?
• RQ2 공유된 코드와 데이터셋 부족으로 인해 기존 IoT IDS 도구의 재현 가능성은 어느 정도 제한되어 있는가?
• RQ3 유사한 연구 목표를 공유하고 있음에도 불구하고, 다양한 IDS 접근 방식 간의 상호 평가는 왜 흔하지 않은가?
• RQ4 특히 사용성과 실제 환경 구현 부담 측면에서 볼 때, 현재 IoT IDS 평가 방법론의 주요 한계는 무엇인가?
• RQ5 표준화된 평가 프레임워크는 향후 IoT IDS 솔루션 개발 및 비교를 어떻게 향상시킬 수 있는가?

주요 결과

• 검토한 51편의 IDS 논문 중 공개된 소스 코드가 있는 논문은 단 4편 뿐이며, 공개 리포지터리(GitHub)를 통해 접근 가능한 도구도 단 한 개 뿐이었다.
• 84명의 저자 중 한 명만 응답하여 소스 코드를 제공했으며, 그마저도 공개되지 않았다.
• 다수의 연구(51편 중 46편)는 코드나 데이터셋을 제공하지 않아 재현 가능성과 비교 평가가 심각하게 제한되었다.
• 대부분의 평가에서 오래된 또는 비표준 데이터셋을 사용하였으며, 많은 연구가 KDD99 데이터셋을 사용하고 있었는데, 이는 출시된 지 거의 20년이 지난 후에도 여전히 사용되고 있었다.
• 통합된 평가 방법론이 부족하여 지표가 일관되지 않으며, 실질적 사용성과 구현 오버헤드에 대한 고려가 극히 미미한 상황이었다.
• 공유된 도구와 데이터셋 부재로 인해 이전 연구를 바탕으로 한 누적적 과학적 진전이 이루어지지 못하고 있으며, 연구 공동체의 진전이 제한되고 있다.