[論文レビュー] Language Models for Novelty Detection in System Call Traces
本稿では、LSTM、Transformer、Longformerを用いたニューラル言語モデルを用いて、データおよびタスクに依存しない新奇性検出手法を提案する。この手法は、シーケンスの尤度を測定することで逸脱を検出する。多数の新奇性に対してFスコアおよびAuROCが95％以上を達成し、7つの行動を含む200万件を超えるWebリクエストの新しいオープンソースデータセットを提供する。
Due to the complexity of modern computer systems, novel and unexpected behaviors frequently occur. Such deviations are either normal occurrences, such as software updates and new user activities, or abnormalities, such as misconfigurations, latency issues, intrusions, and software bugs. Regardless, novel behaviors are of great interest to developers, and there is a genuine need for efficient and effective methods to detect them. Nowadays, researchers consider system calls to be the most fine-grained and accurate source of information to investigate the behavior of computer systems. Accordingly, this paper introduces a novelty detection methodology that relies on a probability distribution over sequences of system calls, which can be seen as a language model. Language models estimate the likelihood of sequences, and since novelties deviate from previously observed behaviors by definition, they would be unlikely under the model. Following the success of neural networks for language models, three architectures are evaluated in this work: the widespread LSTM, the state-of-the-art Transformer, and the lower-complexity Longformer. However, large neural networks typically require an enormous amount of data to be trained effectively, and to the best of our knowledge, no massive modern datasets of kernel traces are publicly available. This paper addresses this limitation by introducing a new open-source dataset of kernel traces comprising over 2 million web requests with seven distinct behaviors. The proposed methodology requires minimal expert hand-crafting and achieves an F-score and AuROC greater than 95% on most novelties while being data- and task-agnostic. The source code and trained models are publicly available on GitHub while the datasets are available on Zenodo.
研究の動機と目的
- 複雑なコンピュータシステムにおける、通常の更新や悪意のある異常を含む、未知の行動を検出する課題に対処すること。
- 新奇性検出モデルの学習および評価に使用可能な、大規模で公開可能なカーネルトレースデータセットの不足を克服すること。
- 専門知識の最小限の介入で運用可能で、データタイプおよび新奇性タイプに依存しない機械学習アプローチを開発すること。
- 最新のニューラル言語モデル（LSTM、Transformer、Longformer）が、未知のシステムコールシーケンスの検出にどの程度有効であるかを評価すること。
- シーケンス尤度推定を用いて、既知のシステム行動からの逸脱を検出するスケーラブルでリアルタイム対応の手法を提供すること。
提案手法
- システムコールのシーケンスを学習データとして用い、有効なシーケンス上の確率分布を学習するニューラル言語モデル（LSTM、Transformer、Longformer）を訓練する。
- チェーンルールを用いて、各システムコールの直前までの前件付き確率を計算し、シーケンスの同時尤度を算出する：$ P(w_1,\dots,w_N) = \prod_{i=1}^N P(w_i|w_{i-1},\dots,w_1) $。
- 訓練済みモデルにおける尤度が低い（パープレキシティが高い）シーケンスを、既知の行動からの逸脱として新奇性として検出する。
- 観測されたシーケンスの尤度を最大化するように、トレーニング中に交差エントロピー損失を用いることで、正常なシステム動作を暗黙的に学習する。
- リアルタイムで新しいシーケンスにモデルを適用し、1つのV100 GPUで1バッチ16シーケンスあたり100ms未塔の推論時間を達成する。
- 専門知識への依存を減らすために、ハイパーパramータチューニングにランダムサーチを採用し、自動化と再現性を向上させる。
実験結果
リサーチクエスチョン
- RQ1手作業による特徴量抽出やドメイン固有のラベル付けを必要とせずに、ニューラル言語モデルが未知のシステムコールシーケンスを効果的に検出できるか。
- RQ2LSTM、Transformer、Longformerといった異なるアーキテクチャは、システムコールトレースにおける多様なタイプの新奇性をどの程度効果的に検出できるか。
- RQ3提案手法は、通常の更新や異常イベントを含む、さまざまな行動およびシステム状態にどの程度一般化できるか。
- RQ4新たに導入された200万件を超えるシステムコールトレースを含むオープンソースデータセットは、データバイアスを最小限に抑えて、高性能な新奇性検出を可能にするか。
- RQ5リアルタイム推論制約下でもモデルの性能は維持されるか。各アーキテクチャの計算的トレードオフは何か。
主な発見
- 提案された言語モデルベースのアプローチは、多数の新奇性タイプでFスコアおよびAuROCが95％を超える高い検出性能を示した。
- 驚くべきことに、局所的依存性に偏ったインダクティブバイアスを持つにもかかわらず、LSTMアーキテクチャが6つの行動タイプのうち3つでTransformerおよびLongformerを上回った。
- この手法はデータおよびタスクに依存しない：ソフトウェア更新、新規ユーザー、侵入、ハードウェア障害を含む、既知の行動からのあらゆる逸脱を検出可能である。
- リアルタイム推論が可能であり、1つのV100 GPUで1バッチ16シーケンスを100ms未塔で処理でき、本番環境での監視に適している。
- 7つの異なる行動を含む200万件を超えるWebリクエストのオープンソースデータセットは、将来的な研究のための現実的で大規模なベンチマークを提供する。
- トレーニング済みモデルおよびソースコードはGitHubおよびZenodoで公開されており、再現性の確保およびプライベートデータセットでの評価を可能にしている。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。