[論文レビュー] Classifier Suites for Insider Threat Detection

David Noever|arXiv (Cornell University)|Jan 30, 2019

Information and Cyber Security参考文献 12被引用数 14

ひとこと要約

本研究では、CERTデータセットを用いて16のファミリーに分類される88種類の機械学習アルゴリズムを内部分析検出の分野で評価し、リスク要因（従業員の感情状態を含む）を活用することでランダムフォレスト分類器が98％を超える正確性を達成した。研究では、2000以上のルールから成る人間が読み取り可能なルールセットを用いて解釈可能性を強調し、データの不均衡を解消するためにアンダーサンプリングおよびオーバーサンプリングを適用することで、稀な悪意ある行動（全行動の0.02％未満）の検出を向上させた。

ABSTRACT

Better methods to detect insider threats need new anticipatory analytics to capture risky behavior prior to losing data. In search of the best overall classifier, this work empirically scores 88 machine learning algorithms in 16 major families. We extract risk features from the large CERT dataset, which blends real network behavior with individual threat narratives. We discover the predictive importance of measuring employee sentiment. Among major classifier families tested on CERT, the random forest algorithms offer the best choice, with different implementations scoring over 98% accurate. In contrast to more obscure or black-box alternatives, random forests are ensembles of many decision trees and thus offer a deep but human-readable set of detection rules (>2000 rules). We address performance rankings by penalizing long execution times against higher median accuracies using cross-fold validation. We address the relative rarity of threats as a case of low signal-to-noise (< 0.02% malicious to benign activities), and then train on both under-sampled and over-sampled data which is statistically balanced to identify nefarious actors.

研究の動機と目的

• 企業環境における内部分析検出に最も効果的な機械学習分類器を特定すること。
• 行動的および感情に基づく特徴量の予測的価値が、危険な内部分析行動の特定に与える影響を評価すること。
• 内部分析データセットにおける極端なクラス不均衡（悪意ある行動が0.02％未満）の課題に対処すること。
• アンサンブルモデルを用いて人間が読み取り可能な意思決定ルールを生成することで、透明性と解釈可能性を備えた検出システムを構築すること。
• クロスフォールド検証とペナルティ付き順位付けを用いて、性能、正確性、実行時間のバランスを取ること。

提案手法

• CERT内部分析検出データセット上で、16の大手ファミリーに属する88種類の機械学習アルゴリズムを実験的に評価する。
• ネットワーク行動ログおよび脅威ナラティブからリスク特徴量を抽出し、従業員の感情状態を示す指標を含む。
• 希少な脅威事例のための統計的にバランスの取れたトレーニングセットを生成するために、アンダーサンプリングおよびオーバーサンプリングの両技術を適用する。
• 10分割交差検証を用いて中央値の正確性を評価し、実行時間が長いモデルに対しては性能順位付けでペナルティを科す。
• ランダムフォレストモデルをトレーニングおよび評価し、人間が読み取り可能な意思決定ルールを2000以上生成することで解釈可能性を確保する。
• 中央値の正確性と実行時間をバランスさせた複合スコアに基づいて分類器を順位付けし、実用的導入を優先する。

実験結果

リサーチクエスチョン

• RQ1 どの機械学習分類器ファミリーがCERTデータセット上で内部分析検出に最も効果的か？
• RQ2 従業員の感情を特徴量として組み込むことで、内部分析検出モデルの予測性能にどのような影響を与えるか？
• RQ3 0.02％未満の悪意ある行動を含むデータの不均衡が分類器の性能に与える影響はどの程度で、どのように緩和できるか？
• RQ4 ランダムフォレストのようなアンサンブルモデルは、ルール抽出によって高い正確性と解釈可能性を両立できるか？
• RQ5 内部分析検出システムにおいて、モデルの正確性、実行時間、解釈可能性の間にはどのようなトレードオフがあるか？

主な発見

• ランダムフォレスト分類器が最高のパフォーマンスを示し、複数の実装でCERTデータセット上で98％を超える正確性を達成した。
• 従業員の感情をリスク特徴量として組み込むことで、モデルの予測力が顕著に向上した。
• ランダムフォレストは2000以上の人間が読み取り可能な意思決定ルールを生成し、検出論理の完全な解釈可能性と監査可能性を可能にした。
• 本研究では、アンダーサンプリングおよびオーバーサンプリングの両技術が、極めて不均衡なデータを効果的にバランスさせることに成功し、希少な内部分析脅威の検出を向上させた。
• 長時間の実行時間をペナルティとして科す性能順位付けにより、高い正確性と妥当な実行時間の両方を満たすため、ランダムフォレストが最適と特定された。
• 全テストアルゴリズムの中で、ランダムフォレストが正確性、解釈可能性、計算効率の観点から最良のトレードオフを提供した。