[論文レビュー] Self-Supervised and Interpretable Anomaly Detection using Network Transformers

Daniel Marino, Chathurika S. Wickramasinghe+2 more|arXiv (Cornell University)|Feb 25, 2022

Anomaly Detection Techniques and Applications被引用数 10

ひとこと要約

本論文では、コンピュータネットワークのグラフ構造を活用する自己教師ありで解釈可能な深層学習モデルである Network Transformer (NeT) を提案する。生のパケットデータから階層的特徴を学習するトランスフォーマーに基づくアーキテクチャを用いることで、異常を検出するとともに影響を受けるデバイスや接続を同定することができ、ラベルなしデータを用いた学習が可能であり、高い解釈性を実現する。

ABSTRACT

Monitoring traffic in computer networks is one of the core approaches for defending critical infrastructure against cyber attacks. Machine Learning (ML) and Deep Neural Networks (DNNs) have been proposed in the past as a tool to identify anomalies in computer networks. Although detecting these anomalies provides an indication of an attack, just detecting an anomaly is not enough information for a user to understand the anomaly. The black-box nature of off-the-shelf ML models prevents extracting important information that is fundamental to isolate the source of the fault/attack and take corrective measures. In this paper, we introduce the Network Transformer (NeT), a DNN model for anomaly detection that incorporates the graph structure of the communication network in order to improve interpretability. The presented approach has the following advantages: 1) enhanced interpretability by incorporating the graph structure of computer networks; 2) provides a hierarchical set of features that enables analysis at different levels of granularity; 3) self-supervised training that does not require labeled data. The presented approach was tested by evaluating the successful detection of anomalies in an Industrial Control System (ICS). The presented approach successfully identified anomalies, the devices affected, and the specific connections causing the anomalies, providing a data-driven hierarchical approach to analyze the behavior of a cyber network.

研究の動機と目的

• ネットワーク異常検出におけるブラックボックス機械学習モデルの解釈性の欠如に対処すること。
• 異常を同定するだけでなく、その原因となっている特定のデバイスや接続を特定する手法を開発すること。
• 自己教師あり学習によりラベルなしデータでの学習を可能とすること。
• ネットワーク通信の固有のグラフトポロジをモデルに組み込み、解釈性の向上を図ること。
• 複数の粒度レベルで分析が可能な階層的特徴表現を提供すること。

提案手法

• モデルは、送信元および宛先アドレスごとにパケットをグループ化することで通信グラフを構築し、生のネットワークパケットデータを処理する。
• トランスフォーマーニューラルネットワークが、時系列パケットデータからネットワークグラフのノードおよびエッジの埋め込み表現を学習する。
• アグリゲーターモジュールが、ネットワークレベル、デバイスレベル、接続レベルの行動を表す階層的特徴を抽出する。
• ラベルなしデータ上で対照学習の目的関数を用いて自己教師あり事前学習を実施し、真のラベルなしに意味のある表現を学習する。
• 階層的特徴を用いて、未教師ありモデル（OCSVM、LOF、AE）による下流の異常検出を実施する。
• エンド・トゥ・エンドで微分可能なパイプラインにより、グローバルな異常から個々のノードや接続へとたどり着けるため、解釈性が保証される。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありの深層学習モデルは、グラフ構造を活用することで、解釈性を保ちながらネットワーク異常を検出できるか？
• RQ2 階層的特徴抽出は、複数の粒度レベルで異常原因を同定するのにどの程度有効か？
• RQ3 自己教師あり事前学習は、ラベルなしデータを用いた場合に、異常検出性能をどの程度向上できるか？
• RQ4 モデルの内部表現を用いて、異常に関与するデバイスや接続を特定できるか？
• RQ5 モデルアーキテクチャにネットワークトポロジを組み込むことで、ブラックボックスモデルと比較して診断能力がどの程度向上するか？

主な発見

• Network Transformerは、ラベルなしデータのみを用いて産業制御システム（ICS）ネットワークにおける異常を正常に検出できた。
• モデルは、異常を引き起こした特定のデバイスや接続を同定することで、解釈可能な結果を提供し、標的診断を可能にした。
• 階層的特徴抽出により、グローバルなネットワーク行動から個々のノードおよびエッジの活動まで、多様な粒度での分析が可能になった。
• 自己教師あり事前学習戦略により、ラベル付き異常データを必要とせずに効果的な表現学習が実現された。
• 生のパケットバイトからグローバルなネットワーク表現へのエンド・トゥ・エンドで微分可能なパイプラインが実現され、複数の粒度レベルでの説明可能性をサポートした。
• トランスフォーマー・アーキテクチャへのグラフ構造の統合により、モデルの解釈性と診断的有用性が向上した。