[논문 리뷰] Explainable Intrusion Detection Systems (X-IDS): A Survey of Current Methods, Challenges, and Opportunities

Subash Neupane, Jesse Ables외 5명|arXiv (Cornell University)|2022. 07. 13.

Network Security and Intrusion Detection인용 수 4

한 줄 요약

이 종합 검토는 인공지능 기반 침입 탐지 시스템(X-IDS)의 백색 상자 및 블랙박스 설명 가능성 접근법을 분석함으로써 설명 가능한 침입 탐지 시스템(X-IDS)을 위한 체계적 프레임워크를 제안한다. 인간이 참여하는 3층 구조 아키텍처를 제시하며, 모델의 투명성 부족과 악성 공격 등의 주요 과제를 규명하고, 신뢰도 향상과 사이버 보안 운영 센터(CSoC) 내 의사결정 지원을 위해 표준화된 메트릭과 이해관계자별 맞춤형 설명을 권장한다.

ABSTRACT

The application of Artificial Intelligence (AI) and Machine Learning (ML) to cybersecurity challenges has gained traction in industry and academia, partially as a result of widespread malware attacks on critical systems such as cloud infrastructures and government institutions. Intrusion Detection Systems (IDS), using some forms of AI, have received widespread adoption due to their ability to handle vast amounts of data with a high prediction accuracy. These systems are hosted in the organizational Cyber Security Operation Center (CSoC) as a defense tool to monitor and detect malicious network flow that would otherwise impact the Confidentiality, Integrity, and Availability (CIA). CSoC analysts rely on these systems to make decisions about the detected threats. However, IDSs designed using Deep Learning (DL) techniques are often treated as black box models and do not provide a justification for their predictions. This creates a barrier for CSoC analysts, as they are unable to improve their decisions based on the model's predictions. One solution to this problem is to design explainable IDS (X-IDS). This survey reviews the state-of-the-art in explainable AI (XAI) for IDS, its current challenges, and discusses how these challenges span to the design of an X-IDS. In particular, we discuss black box and white box approaches comprehensively. We also present the tradeoff between these approaches in terms of their performance and ability to produce explanations. Furthermore, we propose a generic architecture that considers human-in-the-loop which can be used as a guideline when designing an X-IDS. Research recommendations are given from three critical viewpoints: the need to define explainability for IDS, the need to create explanations tailored to various stakeholders, and the need to design metrics to evaluate explanations.

연구 동기 및 목표

• 딥 러닝 기반 침입 탐지 시스템(IDS)의 투명성 부족 문제를 해결하라. 이러한 시스템은 블랙박스로 간주되어 분석가의 신뢰도와 의사결정을 저해한다.
• 백색 상자 및 사후 해석(블랙박스) 기법을 포함한 현재의 설명 가능한 인공지능(XAI) 방법을 체계적으로 검토하라.
• X-IDS에서의 주요 과제, 예를 들어 설명에 대한 악성 공격, 오해를 유도하는 해석, 성능 오버헤드 등을 규명하라.
• DARPA의 XAI 프레임워크와 일치하는 일반화된 3층 X-IDS 아키텍처를 제안하여 인간이 참여하는 보안 운영을 지원하라.
• 설명 가능성 정의, 이해관계자 맞춤형 설명, 평가 메트릭 개발을 위한 연구 권고 사항을 제공하라.

제안 방법

• X-IDS 방법을 백색 상자(예: 어텐션 메커니즘 또는 결정 트리와 같은 내재적으로 해석 가능한 모델)와 블랙박스(예: LIME 및 SHAP와 같은 사후 해석 도구) 접근법으로 분류하라.
• 모델 성능과 설명 가능성 사이의 상충 관계를 분석하며, 블랙박스 방법이 일반적으로 더 높은 정확도를 달성하지만 추가적인 설명 계산이 필요하다는 점을 지적하라.
• 3층 구조의 X-IDS 아키텍처를 제안한다: (1) 데이터 수신 및 전처리, (2) 설명 가능한 머신러닝 모델(예: 설명 가능한 DNN 또는 하이브리드 모델), (3) CSoC 분석가를 위한 설명 인터페이스.
• 분석가가 도메인 지식을 바탕으로 설명을 검증, 수정 또는 재학습할 수 있도록 인간이 참여하는 피드백을 통합하라.
• DARPA의 XAI 프레임워크를 설계 지침으로 사용하여 모듈성, 확장성 및 실제 CSoC 워크플로우와의 일치를 보장하라.
• 최근의 XAI 및 IDS 논문 100篇 이상을 종합적으로 조사하여 분야 내 추세, 격차 및 열린 과제를 규명하라.

실험 결과

연구 질문

• RQ1 백색 상자 및 블랙박스 설명 가능성 접근법은 침입 탐지 시스템에서 탐지 정확도와 설명 투명성의 균형을 이루는 데 어떻게 다를까?
• RQ2 실제 사이버 보안 운영 센터(CSoC)에 X-IDS를 구현할 때의 주요 과제는 무엇인가? 특히 설명에 대한 악성 공격과 성능 오버헤드를 포함하여.
• RQ3 분석가, 감사원, 시스템 아키텍트와 같은 다양한 이해관계자에게 맞춤형 설명을 어떻게 제공할 수 있을까? 이는 신뢰도 향상과 의사결정 개선에 기여할 수 있다.
• RQ4 X-IDS에서 설명의 품질과 신뢰성 평가를 객관적으로 평가하기 위해 필요한 메트릭은 무엇인가?
• RQ5 실시간 위협 탐지 및 설명을 지원할 수 있는 확장 가능하고 모듈화되며 인간 중심적인 X-IDS 아키텍처는 어떻게 설계할 수 있을까?

주요 결과

• LIME 및 SHAP와 같은 블랙박스 설명 방법은 고정확도 딥 러닝 모델과의 호환성 덕분에 백색 상자 모델보다 더 널리 채택되고 있다.
• 백색 상자 모델은 일반적으로 더 충실하고 세부적인 설명을 제공하지만, 블랙박스 모델에 비해 탐지 성능을 희생하는 경우가 많다.
• 데이터 품질 악화 또는 설명 알고리즘의 결함으로 인해 잘못된 설명이 유도될 수 있으며, 이는 CSoC 분석가의 오해를 초래하고 시스템 신뢰도를 저하시킬 수 있다.
• 설명 생성에 따른 성능 오버헤드는 심각한 문제이며, 고위험 샘플만 설명하는 선택적 설명 방식이 실시간 운영을 유지하기 위한 타당한 최적화 전략이다.
• IDS에서 '설명 가능성'의 정의에 대한 합의가 없으며, 설명 품질 평가를 위한 표준화된 메트릭도 존재하지 않아 주요 연구 격차로 지적된다.