[論文レビュー] PIDSMaker: Building and Evaluating Provenance-based Intrusion Detection Systems

Tristan Bilot, Baoxiang Jiang+1 more|arXiv (Cornell University)|Jan 30, 2026

Network Security and Intrusion Detection被引用数 0

ひとこと要約

PIDSMakerは、8つの既存のPIDSに対する標準化されたパイプライン、真実ラベル、およびコンポーネントベースのプロトタイピングを備えた provenance-based intrusion detection systems の開発と評価のためのオープンソースフレームワーク（v2.0.0）を提供します。

ABSTRACT

Recent provenance-based intrusion detection systems (PIDSs) have demonstrated strong potential for detecting advanced persistent threats (APTs) by applying machine learning to system provenance graphs. However, evaluating and comparing PIDSs remains difficult: prior work uses inconsistent preprocessing pipelines, non-standard dataset splits, and incompatible ground-truth labeling and metrics. These discrepancies undermine reproducibility, impede fair comparison, and impose substantial re-implementation overhead on researchers. We present PIDSMaker, an open-source framework for developing and evaluating PIDSs under consistent protocols. PIDSMaker consolidates eight state-of-the-art systems into a modular, extensible architecture with standardized preprocessing and ground-truth labels, enabling consistent experiments and apples-to-apples comparisons. A YAML-based configuration interface supports rapid prototyping by composing components across systems without code changes. PIDSMaker also includes utilities for ablation studies, hyperparameter tuning, multi-run instability measurement, and visualization, addressing methodological gaps identified in prior work. We demonstrate PIDSMaker through concrete use cases and release it with preprocessed datasets and labels to support shared evaluation for the PIDS community.

研究の動機と目的

• 再現性のある評価が provenance-based intrusion detection systems (PIDSs) で必要とされる理由を動機づける。
• 複数の最先端PIDSを統一されたモジュラー型フレームワークに統合し、 apples-to-apples な比較を可能にする。
• DARPA TC および OpTC の主要データセットに対する標準化前処理パイプラインと真偽ラベルを提供する。
• 迅速なプロトotyping、アブレーション、およびハイパーパラメータ調整のための YAML ベースの設定を提供する。
• 先行研究の方法論的ギャップに対処するため、不安定性測定と可視化の実験用ツールを含める。

提案手法

• PIDS間で部品を交換できるモジュール式パイプラインアーキテクチャ。
• 確立された provenance データセット（DARPA TC E3/E5 および OpTC）に対する標準化前処理と真偽ラベル付け。
• コード変更なしに新しいPIDSバリアントを組み合わせる YAML駆動の構成。
• 再計算を避け、設定変更を効率的に反復するためのディスク上キャッシュ。
• アブレーション研究、ハイパーパラメータ調整、不安定性測定、可視化のサポート。
• 共有評価を支援する前処理済みデータと真偽ラベルを含むオープンソースリリース。

Figure 4: Distribution of (normalized) predicted anomaly scores for each attack in a dataset ( E3-CADETS dataset).

実験結果

リサーチクエスチョン

• RQ1 provenance-based intrusion detection研究における再現性と公正な比較をどう改善できるか？
• RQ2 統一フレームワークは再実装の労力を削減しつつPIDSバリアントの迅速なプロトタイピングを可能にするか？
• RQ3 標準化データセット・真偽ラベル・評価プロトコルはシステム横断の比較にどのような影響を及ぼすか？
• RQ4 アブレーションとハイパーパラメータ調整はPIDSコンポーネント間のパフォーマンス差を診断するうえでどれだけ効果的か？
• RQ5 自己教師付きPIDSのラン Run-to-Run 不安定性を測定・解釈するにはどのような仕組みが必要か？

主な発見

• 8つの最先端PIDSを単一のモジュール化コードベースに統合し、安定した評価を実現。
• DARPA TC E3/E5 および OpTC データセットの標準化前処理と真偽ラベルを提供。
• コードを書かずに構成駆動のプロトタイピングを可能にする YAMLベースの組み合わせ機能を提供。
• アブレーション研究、ハイパーパラメータ調整、不安定性測定、可視化のためのユーティリティを統合。
• 反復実験を加速するディスク上キャッシュを提供し、信頼性のためのマルチラン分析をサポート。

Figure 5: Anomaly scores predicted for top-ranked nodes ( E3-CADETS dataset).