[論文レビュー] Should I Raise The Red Flag? A comprehensive survey of anomaly scoring methods toward mitigating false alarms

Zahra Zohrevand, Uwe Glässer|arXiv (Cornell University)|Apr 14, 2019

Network Security and Intrusion Detection参考文献 75被引用数 5

ひとこと要約

本論文は、インシデント検出システムにおける誤検知を低減することを目的とした異常スコアリング手法の包括的な分析的レビューを提供している。誤検知を低減するためのスコアリング、しきい値チューニング、および事後フィルタリングの技術を評価し、検知の再現率を損なうことなく誤検知を最小限に抑えるためにスコアリングの重要性を強調している。

ABSTRACT

Nowadays, advanced intrusion detection systems (IDSs) rely on a combination of anomaly detection and signature-based methods. An IDS gathers observations, analyzes behavioral patterns, and reports suspicious events for further investigation. A notorious issue anomaly detection systems (ADSs) and IDSs face is the possibility of high false alarms, which even state-of-the-art systems have not overcome. This is especially a problem with large and complex systems. The number of non-critical alarms can easily overwhelm administrators and increase the likelihood of ignoring future alerts. Mitigation strategies thus aim to avoid raising `too many' false alarms without missing potentially dangerous situations. There are two major categories of false alarm-mitigation strategies: (1) methods that are customized to enhance the quality of anomaly scoring; (2) approaches acting as filtering methods in contexts that aim to decrease false alarm rates. These methods have been widely utilized by many scholars. Herein, we review and compare the existing techniques for false alarm mitigation in ADSs. We also examine the use of promising techniques in signature-based IDS and other relevant contexts, such as commercial security information and event management tools, which are promising for ADSs. We conclude by highlighting promising directions for future research.

研究の動機と目的

• 管理者を圧倒させ、システムの信頼性を低下させる、異常検知システム（ADSs）における高い誤検知レートという継続的な課題に対処する。
• 特に異常スコアリングおよびしきい値選定に焦点を当てた、既存の誤検知低減戦略を体系的にレビューおよび比較する。
• 異常検知手法間での標準化およびパフォーマンス報告の欠如に関するギャップを強調し、均一な評価フレームワークの導入を提唱する。
• 署名ベースのIDSおよびSIEM技術が異常検知システムにどのように応用可能かを検討し、将来的なハイブリッド手法の構築に役立てる。
• 実世界での導入に向けた評価、スケーラビリティ、およびデータドリフトへの適応性に関する主な研究ギャップを特定する。

提案手法

• 誤検知低減を2つの主要な分類に分類する：(1) 異常スコアリングの質を向上させる手法、(2) スコアリング後に適用されるフィルタリング技術。
• 時間的系列予測および確率的モデリングを、正常動作の推定と異常検知における不確実性の低減のためのコアな要素として分析する。
• 観測値間の相関関係や時間的パターンを用いてスコアを再スケーリングする、集団的分析および系列ベースのスコアリング戦略をレビューする。
• 実行時パフォーマンスおよびドリフトに基づいて検知しきい値を動的に調整する、事後的なプリーニングおよび適応的しきい値設定技術を検討する。
• モデル駆動型とデータ駆動型のアプローチを組み合わせたハイブリッドモデルを調査し、LSTM、オートエンコーダ、GANsなどの深層学習アーキテクチャを活用して行動モデリングを改善する。
• 公開ベンチマーク（例：NAB、PyOD）を用いた標準化された評価と均一なスコアフォーマットの導入の必要性を提言し、公平な比較およびモデルアンサンブルを可能にする。

実験結果

リサーチクエスチョン

• RQ1 悪意ある活動の検知を損なうことなく、誤検知を低減するためには、どのように異常スコアリング手法を改善できるか？
• RQ2 リアルタイムシステムにおける誤検知を最小限に抑えるために、最も効果的なしきい値計算および動的調整戦略は何か？
• RQ3 署名ベースのIDSおよびSIEMツールの技術は、異常検知システムにどの程度応用可能か？
• RQ4 パフォーマンスメトリクスの標準化された評価および報告がなされていないことが、異常検知研究の進展を妨える理由は何か？
• RQ5 データドリフトおよびコンセプトシフトは異常検知のパフォーマンスにどのように影響を及ぼし、長期間にわたり安定性を確保するにはどのような手法が有効か？

主な発見

• 誤検知の低減は、システムの使いやすさに直接影響を与える異常スコアリングフェーズに強く依存しており、その重要性にもかかわらず、しばしば軽視されている。
• 多くの既存手法はカスタムデータセットと非一貫したスコアフォーマットに依存しており、手法間の比較や統合が困難である。
• 事後的なプリーニングおよび適応的しきい値設定戦略は、実行時パフォーマンスとドリフトに基づいて検知パラメータを調整することで、誤検知の低減に効果を示している。
• 系列ベースおよび集団的スコアリングアプローチは、相関関係や時間的パターンを分析することで、孤立した誤検知を低減し、検知性能を向上させる。
• 行動モデリングにおける深層学習の進展にもかかわらず、1つのモデルがすべての異常タイプ（特に隠れ型や集中的な攻撃）に対して最適なパフォーマンスを発揮することはまだない。
• 標準化されたベンチマークおよびパフォーマンス報告の欠如が、新規異常検知手法の再現可能性および実用的導入を制限している。