[論文レビュー] Graph Anomaly Detection with Unsupervised GNNs

Lingxiao Zhao, Saurabh Sawlani+2 more|arXiv (Cornell University)|Oct 18, 2022

Advanced Graph Neural Networks被引用数 13

ひとこと要約

本稿では、グラフニューラルネットワーク（GNN）を用いたエンド・ツー・エンドのグラフレベル異常検出モデルであるGLAMを提案する。このモデルは、平均プーリングと新規のMMDプーリング戦略を用いて、点異常と分布異常を同時に検出する。教師なしのモデル選択が可能であり、ラベルが存在しない状況下でも、15の実世界データセットにおいてベースラインを著しく上回る最先端の性能を達成する。

ABSTRACT

Graph-based anomaly detection finds numerous applications in the real-world. Thus, there exists extensive literature on the topic that has recently shifted toward deep detection models due to advances in deep learning and graph neural networks (GNNs). A vast majority of prior work focuses on detecting node/edge/subgraph anomalies within a single graph, with much less work on graph-level anomaly detection in a graph database. This work aims to fill two gaps in the literature: We (1) design GLAM, an end-to-end graph-level anomaly detection model based on GNNs, and (2) focus on unsupervised model selection, which is notoriously hard due to lack of any labels, yet especially critical for deep NN based models with a long list of hyper-parameters. Further, we propose a new pooling strategy for graph-level embedding, called MMD-pooling, that is geared toward detecting distribution anomalies which has not been considered before. Through extensive experiments on 15 real-world datasets, we show that (i) GLAM outperforms node-level and two-stage (i.e. not end-to-end) baselines, and (ii) model selection picks a significantly more effective model than expectation (i.e. average) -- without using any labels -- among candidates with otherwise large variation in performance.

研究の動機と目的

• グラフデータベースにおけるグラフレベル異常検出のためのエンド・ツー・エンドのGNNベースモデルの不足に対処する。
• ラベルが存在しない状況下で、深層GNNのための教師なしモデル選択という課題に取り組む。これは、ラベルの欠如により、依然として十分に検討されていないが、極めて重要である。
• ノード埋め込み分布が異常なグラフ（分布異常）を検出するための新規なMMDプーリング機構を設計する。これにより、点異常検出と補完的に機能する。
• MMDプーリングと教師なしモデル選択を組み合わせることで、真のラベルに依存せずに検出性能が著しく向上することを示す。

提案手法

• エンド・ツー・エンドのGNNベースモデルであるGLAMを提案する。このモデルは、グラフ全体を処理してグラフレベルの埋め込みを生成し、異常検出に用いる。
• ノード表現の集約により、個々のノードレベルの異常（点異常）を捉えるために、平均プーリングを用いる。
• 最大平均差分（MMD）に基づく新規なプーリング戦略、すなわちMMDプーリングを導入する。これにより、異なるグラフ間のノード埋め込み分布を比較し、分布異常を検出する。
• 正規のグラフが類似した埋め込みを持つように、異常なグラフが分離されるように、対照的損失関数を用いてモデルを訓練する。
• 教師なしモデル選択（UMS）を実装する。内部評価指標（分離表現学習から適応したもの）を用い、ラベルデータを一切必要としない。
• モデルを、サイズ、ノード属性、エッジ重み、ラベルタイプが異なる多様なグラフデータベースに適用し、構造的非均一性に対して頑健であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 教師なしデータに依存せずに、エンド・ツー・エンドのGNNベースモデルがグラフレベルの異常を効果的に検出できるか？
• RQ2 MMDプーリングは、標準的なプーリング手法と比較して、グラフデータベースにおける分布異常の検出においてどのように優れているか？
• RQ3 ラベルが存在しない状況下で、教師なしモデル選択が、深層GNNベースの異常検出器の性能をどの程度向上させられるか？
• RQ4 平均プーリングによる点異常検出とMMDプーリングによる分布異常検出を組み合わせることで、全体的な検出性能が向上するか？

主な発見

• GLAMは、15の実世界データセットにおいて、ノードレベルおよび2段階ベースラインを著しく上回り、グラフレベル異常検出において優れた性能を示した。
• 提案されたMMDプーリング戦略は、ノード埋め込みの集合が異常なグラフ（分布異常）を効果的に捉え、点異常検出を超えた検出性能の向上を実現した。
• 教師なしモデル選択は、ラベルが存在しない状況下でも、ハイパーパrameter候補の平均よりも著しく優れたモデル構成を一貫して特定した。
• MMDプーリングと教師なしモデル選択の組み合わせにより、顕著な性能向上が得られ、GLAMは多様なデータセットで最先端の結果を達成した。
• モデルは、グラフサイズ、ノード属性、エッジ重み、ラベルタイプが異なるデータセットに対しても、一般化性能が高く、構造的非均一性に対して頑健であることが示された。
• https://github.com/sawlani/GLAM でコードとデータセットをオープンソースとして公開したため、再現性が確保され、教師なしグラフレベル異常検出分野におけるさらなる研究が促進される。