[論文レビュー] Real-time Network Intrusion Detection via Decision Transformers

Jingdi Chen, Hanhan Zhou+4 more|arXiv (Cornell University)|Dec 12, 2023

Network Security and Intrusion Detection被引用数 4

ひとこと要約

本稿では、パケット系列を時系列的にモデル化することで、タイムリーかつ正確な脅威検出を実現するリアルタイムネットワーク侵入検知フレームワークを提案する。過去のパケットの軌跡、報酬、意思決定を条件として、決定変換器（DT）が自己回帰的に将来の検知行動を生成する。強化学習（RL）および系列モデルのベースラインと比較して、特に非理想な訓練データ下でも、精度とタイムリー性の両面で優れている。

ABSTRACT

Many cybersecurity problems that require real-time decision-making based on temporal observations can be abstracted as a sequence modeling problem, e.g., network intrusion detection from a sequence of arriving packets. Existing approaches like reinforcement learning may not be suitable for such cybersecurity decision problems, since the Markovian property may not necessarily hold and the underlying network states are often not observable. In this paper, we cast the problem of real-time network intrusion detection as casual sequence modeling and draw upon the power of the transformer architecture for real-time decision-making. By conditioning a causal decision transformer on past trajectories, consisting of the rewards, network packets, and detection decisions, our proposed framework will generate future detection decisions to achieve the desired return. It enables decision transformers to be applied to real-time network intrusion detection, as well as a novel tradeoff between the accuracy and timeliness of detection. The proposed solution is evaluated on public network intrusion detection datasets and outperforms several baseline algorithms using reinforcement learning and sequence modeling, in terms of detection accuracy and timeliness.

研究の動機と目的

• 強化学習（RL）におけるネットワーク侵入検知の限界を解消すること。特に、マルコフ性が成立せず、状態が観測不能である場合が多いこと。
• 完全なネットワークフローが完了する前に対象となる悪意あるパケットを早期に特定することで、検知のタイムリー性を向上させること。
• オフラインで学習された意思決定変換器を用いて、スケーラブルでリアルタイムな意思決定を実現するため、ネットワーク侵入検知を系列モデリング問題として定式化すること。
• 遅延した意思決定をペナルティとする報酬関数を導入することで、検知精度とタイムリー性の新たなトレードオフを実現すること。
• 自己符号化器によるパケット埋め込みを用いることでモデルの耐障害性を向上させ、多様なデータ品質条件下での性能を評価すること。

提案手法

• フレームワークは、ネットワーク侵入検知を系列モデリング問題としてモデル化し、パケット、検知意思決定、報酬の過去の軌跡を入力として用いる。
• 因果的にマスクされた決定変換器（DT）が、所望のリターンと歴史的観測を条件として、自己回帰的に将来の検知意思決定を生成する。
• パケットレベルの特徴量は、事前学習済みの自己符号化器を用いてコンパクトな埋め込みに圧縮され、可変長のパケット系列を効率的に処理する。
• 遅延検知をペナルティとする報酬関数を設計し、より速くかつ正確な意思決定を促進することで、スピードと正確性のトレードオフを実現する。
• モデルはUNSW-NB15データセットからの歴史的軌跡をオフラインで学習し、悪性トラフィックのオーバーサンプリングを用いたバランスの取れたデータセットで評価する。
• 本アプローチはアーキテクチャに依存せず、LSTMやTCNなどの代替モデルとも統合可能であるが、主な評価には変換器が用いられている。

実験結果

リサーチクエスチョン

• RQ1 決定変換器は、マルコフ性に依存せず、リアルタイム侵入検知のための時系列ネットワークトラフィックを効果的にモデル化できるか？
• RQ2 提案フレームワークは、従来のRLおよび教師ありベースラインと比較して、検知精度とタイムリー性のバランスをどのようにとっているか？
• RQ3 劣化したまたはエキスパートでない行動ポリシーからのデータで学習した場合、モデルはどれほど一般化し、性能を維持できるか？
• RQ4 パケット埋め込みと遅延をペナルティとする報酬関数の使用は、検知速度と精度にどのように影響を与えるか？
• RQ5 限られたまたは不均衡な訓練データでも、本フレームワークは高い検知性能を達成できるか？

主な発見

• 提案されたDTベースの手法は、すべてのベースラインを上回る検知精度を達成し、ランダムサンプリング下でもF1スコアが0.91を超える。これは、劣化した訓練データ下でも同様に有効である。
• エキスパートサンプリング下では、DTは0.99の精度を達成し、CQLより低いTime To Resolution（TTR）を記録しており、正確性を損なわず、より迅速な検知が可能であることを示している。
• 中程度のサンプリング状況下では、DTはBCと同等のTTR（0.80）を達成したが、はるかに高い報酬と検知精度を記録しており、優れた耐障害性を示している。
• すべての設定で最低のTTRを維持しながら、高い精度と再現率を達成しており、脅威検知の高速化に有効であることが証明された。
• 報酬関数により、早期検知が促進され、ベースラインと比較して、より高い正規化報酬スコア（エキスパートポリシーに近い）を達成した。
• 非理想データ下でも強い一般化性能を示しており、高品質な行動データが限られる実世界の展開に適している。