[논문 리뷰] PIDSMaker: Building and Evaluating Provenance-based Intrusion Detection Systems

Tristan Bilot, Baoxiang Jiang외 1명|arXiv (Cornell University)|2026. 01. 30.

Network Security and Intrusion Detection인용 수 0

한 줄 요약

PIDSMaker은 표준화된 파이프라인, ground-truth 라벨, 구성요소 기반 프로토타이핑을 갖춘 증거 기반 침입 탐지 시스템을 개발 및 평가하기 위한 오픈 소스 프레임워크(v2.0.0)를 여덟 개의 기존 PIDS에 걸쳐 제공합니다.

ABSTRACT

Recent provenance-based intrusion detection systems (PIDSs) have demonstrated strong potential for detecting advanced persistent threats (APTs) by applying machine learning to system provenance graphs. However, evaluating and comparing PIDSs remains difficult: prior work uses inconsistent preprocessing pipelines, non-standard dataset splits, and incompatible ground-truth labeling and metrics. These discrepancies undermine reproducibility, impede fair comparison, and impose substantial re-implementation overhead on researchers. We present PIDSMaker, an open-source framework for developing and evaluating PIDSs under consistent protocols. PIDSMaker consolidates eight state-of-the-art systems into a modular, extensible architecture with standardized preprocessing and ground-truth labels, enabling consistent experiments and apples-to-apples comparisons. A YAML-based configuration interface supports rapid prototyping by composing components across systems without code changes. PIDSMaker also includes utilities for ablation studies, hyperparameter tuning, multi-run instability measurement, and visualization, addressing methodological gaps identified in prior work. We demonstrate PIDSMaker through concrete use cases and release it with preprocessed datasets and labels to support shared evaluation for the PIDS community.

연구 동기 및 목표

• 증거 기반 침입 탐지 시스템(PIDSs)에서 재현 가능한 평가의 필요성을 제고한다.
• 여러 최첨단 PIDS들을 하나의 통합되고 모듈식 프레임워크로 합쳐, apples-to-apples 비교를 가능하게 한다.
• 주요 데이터셋(DARPA TC 및 OpTC)에 대해 표준화된 전처리 파이프라인과 ground-truth 라벨을 제공한다.
• 신속한 프로토타이핑, 절단, 하이퍼파라미터 튜닝을 위한 YAML 기반 구성을 제공한다.
• 이전 연구의 방법론적 격차를 해소하기 위한 불안정성 측정 및 시각화를 위한 실험적 도구를 포함한다.

제안 방법

• PIDS 간 구성 요소를 교환할 수 있는 모듈식 파이프라인 아키텍처.
• 확립된 프루브런스 데이터세트(DARPA TC E3/E5 및 OpTC)에 대한 표준화된 전처리 및 ground-truth 라벨링.
• 코드 변경 없이 새로운 PIDS 변형을 구성하는 YAML 기반 구성.
• 구성 변경 간 재계산을 피하고 효율적인 반복(iteration)을 가능하게 하는 디스크 기반 캐싱.
• 절단 연구, 하이퍼파라미터 튜닝, 불안정성 측정 및 시각화를 지원.
• 사전 전처리된 데이터셋과 ground-truth 라벨을 포함한 오픈 소스 릴리스를 통해 공동 평가를 지원한다.

Figure 4: Distribution of (normalized) predicted anomaly scores for each attack in a dataset ( E3-CADETS dataset).

실험 결과

연구 질문

• RQ1 증거 기반 침입 탐지 연구에서 재현성과 공정한 비교를 어떻게 개선할 수 있는가?
• RQ2 하나의 통합 프레임워크가 PIDS 변형의 신속한 프로토타이핑을 가능하게 하면서 재구현 노력을 줄일 수 있는가?
• RQ3 표준화된 데이터셋, ground-truth 라벨, 평가 프로토콜이 시스템 간 비교에 어떤 영향을 미치는가?
• RQ4 PIDS 구성요소 간 성능 차이를 진단하는 데 있어 ablations와 하이퍼파라미터 튜닝의 효과는 어느 정도인가?
• RQ5 자가 감독(Self-supervised) PIDS에서 실행 간 불안정성을 측정하고 해석하기 위해 어떤 메커니즘이 필요한가?

주요 결과

• 여덟 개의 최첨단 PIDS를 하나의 모듈식 코드베이스로 통합하여 일관된 평가를 가능하게 한다.
• DARPA TC E3/E5 및 OpTC 데이터셋에 대해 표준화된 전처리 및 ground-truth 라벨을 제공한다.
• 코딩 없이 시스템 간 구성 요소를 혼합하기 위한 YAML 기반의 구성-driven 프로토타이핑을 가능하게 한다.
• 절단 연구, 하이퍼파라미터 튜닝, 불안정성 측정 및 시각화를 위한 유틸리티를 포함한다.
• 반복 실험을 가속화하기 위한 디스크 기반 캐싱을 제공하고 신뢰성을 위한 다중 실행 분석을 지원한다.

Figure 5: Anomaly scores predicted for top-ranked nodes ( E3-CADETS dataset).