[논문 리뷰] HuntGPT: Integrating Machine Learning-Based Anomaly Detection and Explainable AI with Large Language Models (LLMs)

Tarek Ali, Panos Kostakos|arXiv (Cornell University)|2023. 09. 27.

Network Security and Intrusion Detection인용 수 39

한 줄 요약

HuntGPT는 KDD99에서 학습된 Random Forest 기반 네트워크 이상 탐지기와 XAI (SHAP/LIME) 및 OpenAI의 GPT-3.5 Turbo 챗봇을 결합하여 Gradio 대시보드를 통해 설명 가능하고 실행 가능한 침입 탐지 인사이트를 제공합니다. 본 연구는 AI 보조 시스템의 기술적 정확성과 응답 가독성을 평가합니다.

ABSTRACT

Machine learning (ML) is crucial in network anomaly detection for proactive threat hunting, reducing detection and response times significantly. However, challenges in model training, maintenance, and frequent false positives impact its acceptance and reliability. Explainable AI (XAI) attempts to mitigate these issues, allowing cybersecurity teams to assess AI-generated alerts with confidence, but has seen limited acceptance from incident responders. Large Language Models (LLMs) present a solution through discerning patterns in extensive information and adapting to different functional requirements. We present HuntGPT, a specialized intrusion detection dashboard applying a Random Forest classifier using the KDD99 dataset, integrating XAI frameworks like SHAP and Lime for user-friendly and intuitive model interaction, and combined with a GPT-3.5 Turbo, it delivers threats in an understandable format. The paper delves into the system's architecture, components, and technical accuracy, assessed through Certified Information Security Manager (CISM) Practice Exams, evaluating response quality across six metrics. The results demonstrate that conversational agents, supported by LLM and integrated with XAI, provide robust, explainable, and actionable AI solutions in intrusion detection, enhancing user understanding and interactive experience.

연구 동기 및 목표

• 위협 수색에서 ML 기반 이상 탐지의 활용을 촉진하여 탐지 시간을 단축하고 대응 품질을 개선한다.
• SHAP 및 LIME 설명과 GPT 기반 대화 에이전트를 통합한 Random Forest 탐지기가 포함된 대시보드(HuntGPT)를 제안한다.
• 설명 가능성과 대화형 AI 보조 분석을 결합하여 분석가의 신뢰성과 사용성을 향상시킨다.
• 프로토타입의 기술적 정확성과 AI가 생성한 설명 및 응답의 가독성을 평가한다.

제안 방법

• 이상 탐지를 위해 KDD99 침입 탐지 데이터 세트에 대해 Random Forest 분류기를 학습시키고 배포한다.
• Elasticsearch와 AWS S3에 저장된 특성 수준의 설명 및 시각적 도표를 생성하기 위해 SHAP 및 LIME 설명 가능 프레임워크를 통합한다.
• IDS 대시보드를 통해 설명 가능한 위협 분석을 제공하기 위해 OpenAI API를 통해 GPT-3.5 Turbo 대화 에이전트를 연결한다.
• 관심사를 분리하고 모듈식 개발을 가능하게 하기 위해 분석 엔진, Elasticsearch가 포함된 데이터 저장소, Gradio를 사용하는 UI의 3층 아키텍처를 사용한다.
• 사이버 보안 자격증 준비 자료(CISM)와 대조하여 기술적 정확성을 평가하고 AI 설명의 가독성을 여섯 가지 가독성 지표를 사용하여 평가한다.

Figure 1: High level diagram of dashboard integration.

실험 결과

연구 질문

• RQ1 XAI 설명과 결합된 LLM 기반 챗봇이 탐지된 네트워크 이상에 대해 정확하고 실행 가능한 통찰력을 제공할 수 있는가?
• RQ2 SHAP 및 LIME 설명을 통합하는 것이 분석가의 신뢰와 ML 기반 이상 탐지에 대한 이해를 향상시키는가?
• RQ3 사이버 보안 맥락에서 AI가 생성한 이상 탐지 설명과 챗봇 응답의 인지적 가독성은 어떠한가?
• RQ4 표준 인증과 비교하여 실무 사이버 보안 지식 측면에서 시스템의 성능은 얼마나 우수한가?

주요 결과

시험	문항 수	GPT-3.5 turbo 성공률
CISM Certified Information Security Manager Practice Exams [14]	40	82.5%
ISACA official CISM practice Quiz [43]	10	80%
ISACA official cybersecurity fundamentals practice quiz [43]	25	72%

• GPT-3.5 Turbo는 연구에 사용된 표준화된 시험에서 72%에서 82.5%의 성공률로 상당한 사이버 보안 지식을 보여주었다.
• 가독성 분석에 따르면 생성된 설명과 챗봇 응답은 일반적으로 석사급 또는 이에 준하는 수준이지만 기본 대학 교육을 받은 사용자가 이해할 수 있다.
• HuntGPT 프로토타입은 AI 생성 설명, 대화식 토론, 다운로드 가능한 사건 보고서를 통해 설명 가능한 이상 탐지를 제공한다.
• 아키텍처는 Elasticsearch 저장소, AWS S3 도표, OpenAI API와 통합된 Gradio UI를 통해 원활한 분석가 상호 작용을 가능하게 하는 모듈식 개발을 지원한다.
• 대화형 에이전트 기반 설명은 침입 탐지 맥락에서 실행 가능한 AI 지원 응답 생성을 돕는다.

Figure 2: System Components Diagram