[論文レビュー] ADSAGE: Anomaly Detection in Sequences of Attributed Graph Edges applied to insider threat detection at fine-grained level

Mathieu Garchery, Michael Granitzer|arXiv (Cornell University)|Jul 14, 2020

Network Security and Intrusion Detection参考文献 37被引用数 6

ひとこと要約

ADSAGEは、属性付きグラフエッジの系列に対する、異常検出のための新規フレームワークを導入し、数値的・カテゴリカル・テキスト属性を備えたエッジとしてユーザ行動をモデル化することで、細粒度のイベントレベルの内部脅威検出を可能にする。RNNを用いた時系列モデリングと、FFNNを用いた異常スコアリングを統合し、認証ログおよびメールログにおいて効果的な検出を達成するとともに、集約手法と比較してアラートのトレーサビリティを向上させる。

ABSTRACT

Previous works on the CERT insider threat detection case have neglected graph and text features despite their relevance to describe user behavior. Additionally, existing systems heavily rely on feature engineering and audit data aggregation to detect malicious activities. This is time consuming, requires expert knowledge and prevents tracing back alerts to precise user actions. To address these issues we introduce ADSAGE to detect anomalies in audit log events modeled as graph edges. Our general method is the first to perform anomaly detection at edge level while supporting both edge sequences and attributes, which can be numeric, categorical or even text. We describe how ADSAGE can be used for fine-grained, event level insider threat detection in different audit logs from the CERT use case. Remarking that there is no standard benchmark for the CERT problem, we use a previously proposed evaluation setting based on realistic recall-based metrics. We evaluate ADSAGE on authentication, email traffic and web browsing logs from the CERT insider threat datasets, as well as on real-world authentication events. ADSAGE is effective to detect anomalies in authentications, modeled as user to computer interactions, and in email communications. Simple baselines give surprisingly strong results as well. We also report performance split by malicious scenarios present in the CERT datasets: interestingly, several detectors are complementary and could be combined to improve detection. Overall, our results show that graph features are informative to characterize malicious insider activities, and that detection at fine-grained level is possible.

研究の動機と目的

• グラフおよびテキスト特徴をサポートするが、細粒度のイベントレベルの異常検出を実現しない内部脅威検出システムの不足を是正すること。
• 生の監査ログイベントを属性付きグラフエッジとして直接処理することで、手動による特徴工学およびデータ集約に依存するのを減らすこと。
• 実際のリコールベースの指標を用いて、グラフおよびテキスト特徴が悪意ある内部脅威行動を検出する有効性を評価すること。
• CERT内部脅威データセットにおけるエッジレベルでの異常検出のベンチマークを提供し、悪意あるシナリオごとに性能を分離して評価すること。
• 異なる監査データソースからの検出手法の相補性を検討し、アンサンブルによる性能向上の可能性を探索すること。

提案手法

• ユーザ監査イベントを、ノード（例：ユーザー、コンピュータ）がエンティティを表し、エッジ（例：ログイン、メール送信）が相互作用を表す属性付きグラフエッジとしてモデル化する。
• 異種のエッジ属性をサポートする：数値的（例：タイムスタンプ）、カテゴリカル（例：アクションタイプ）、テキスト（例：メール本文）。
• 時系列的なエッジの系列を捉え、時間経過に伴う行動パターンをモデル化するために再帰的ニューラルネットワーク（RNN）を用いる。
• エッジの妥当性を予測し、再構成誤差に基づいて異常スコアを生成するために、フィードフォワードニューラルネットワーク（FFNN）を採用する。
• エッジ異常検出のエンドツーエンド学習を可能にするために、エッジの正例と負例のサンプリング比を1:1に設定してモデルを学習する。
• CERTおよびLANLデータセットを用いて、リコールベースの指標で評価し、悪意ある内部脅威シナリオごとに結果を分離することで、データソースの特異性を評価する。

実験結果

リサーチクエスチョン

• RQ1 集約された監査データを用いない属性付きグラフのエッジレベルでの異常検出が、内部脅威を効果的に検出できるか。
• RQ2 グラフおよびテキスト特徴は、認証、メール、ウェブブラウジングログにおける悪意ある内部脅威行動の特定にどのように寄与するか。
• RQ3 異なる検出手法（例：ADSAGE、SedanSpot）が、異なる内部脅威シナリオを検出する際に、どの程度相補的か。
• RQ4 合成されたCERTデータセットは、細粒度の異常検出手法の有効な性能評価を可能にするほど現実的か。
• RQ5 集約的で複数のデータソースを統合するシステムと比較して、細粒度の検出が、アラートのトレーサビリティを向上させつつ、競争力のある検出性能を維持できるか。

主な発見

• ADSAGEは、ユーザーからコンピュータへの相互作用エッジとしてモデル化された認証ログにおいて、合成（CERT）および実世界（LANL）の両データセットで一貫した性能を示し、異常検出を効果的に行う。
• メール通信を送信者から受信者へのエッジとしてモデル化し、本文を属性に含めることで、ADSAGEは効果的に検出を行うことができ、テキストおよびグラフ特徴の価値を示している。
• ウェブブラウジングログは、ユーザーからドメインへのエッジとして表現されるが、ADSAGEはそれに対してはやや効果が低く、SedanSpotやルールベース検出器などの代替手法がより適している可能性がある。
• SedanSpotのようなシンプルなベースライン手法が、驚くほど高い性能を示しており、軽量なモデルでも特定のデータソースに対しては有効である可能性を示している。
• 悪意あるシナリオごとの性能結果の分析から、異なる検出器が異なる脅威パターンをカバーしていることが判明し、アンサンブル手法による検出カバレッジの向上の可能性が強く示唆されている。
• 本研究では、グラフおよびテキスト特徴が内部脅威検出に有用であり、データ集約を伴わずに細粒度のイベントレベル検出が実現可能かつトレーサブルであることが確認された。