[論文レビュー] Three Revisits to Node-Level Graph Anomaly Detection: Outliers, Message Passing and Hyperbolic Neural Networks

Jing Gu, Dongmian Zou|arXiv (Cornell University)|Mar 6, 2024

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本稿は、グラフに適した外れ値挿入法を導入することで、ノードレベルのグラフ異常検出を再考し、GNNにおけるメッセージパッシングの必要性に疑問を呈し、特別なアーキテクチャと損失関数を備えた双曲型ニューラルネットワークを提案する。実験の結果、特にポアンカレに基づくモデルが、ユークリッド型およびローレンツ型の対比モデルを大きく上回り、パス+DICE外れ値を用いたSquirrelデータセットで最大43.6%のROC-AUCを達成した。一方、メッセージパッシングモデルは外れ値による汚染の影響を受けて性能が低下した。

ABSTRACT

Graph anomaly detection plays a vital role for identifying abnormal instances in complex networks. Despite advancements of methodology based on deep learning in recent years, existing benchmarking approaches exhibit limitations that hinder a comprehensive comparison. In this paper, we revisit datasets and approaches for unsupervised node-level graph anomaly detection tasks from three aspects. Firstly, we introduce outlier injection methods that create more diverse and graph-based anomalies in graph datasets. Secondly, we compare methods employing message passing against those without, uncovering the unexpected decline in performance associated with message passing. Thirdly, we explore the use of hyperbolic neural networks, specifying crucial architecture and loss design that contribute to enhanced performance. Through rigorous experiments and evaluations, our study sheds light on general strategies for improving node-level graph anomaly detection methods.

研究の動機と目的

• ベンチマークGADデータセットにおける包括的でグラフにインスパイアされた外れ値挿入手法の不足を是正すること。
• GNNにおけるメッセージパッシングが、非教師ありノードレベルの異常検出において有益であるかどうかを調査すること。
• 階層的なグラフ構造を活用することで、双曲型ニューラルネットワークの異常検出における潜在的可能性を調査すること。
• 双曲型GADに適した特別なアーキテクチャと損失関数を設計し、性能を向上させること。

提案手法

• グラフ構造と文脈に基づいて異常を生成する新しい外れ値挿入技術を提案し、多様性と現実性を向上させる。
• メッセージパッシングGNNと非メッセージパッシングモデル（Transformerを含む）を比較する評価フレームワークを採用する。
• ノード表現学習にポアンカレおよびローレンツモデルを用いた双曲型ニューラルネットワークアーキテクチャを導入する。
• 双曲空間内での正規ノードと外れ値の分離を強化する特別な損失関数を設計する。
• 双曲空間におけるTransformerベースのアテンションメカニズムを可能にするために、対数および指数写像を適用する。
• 双曲幾何を扱えるように修正を加えたオートエンコーダフレームワークを用いて再構成ベースの異常スコアリングを実装する。

実験結果

リサーチクエスチョン

• RQ1 グラフに適した外れ値挿入法は、ベンチマークデータセットにおける異常検出の多様性と現実性をどのように向上させるか？
• RQ2 GNNにおけるメッセージパッシングは、非教師ありノードレベルのグラフ異常検出において一貫して性能を向上させるか？
• RQ3 適切なアーキテクチャ設計を施した双曲型ニューラルネットワークは、ユークリッド型およびローレンツ型モデルを上回る性能を発揮できるか？
• RQ4 特別な損失関数は、双曲空間内での異常検出の性能向上にどのような役割を果たすか？
• RQ5 アテンションベースのモデル（例：Transformer）は、双曲空間におけるGADタスクでどのように性能を発揮するか？

主な発見

• ポアンカレに基づくモデルは、パス+DICE外れ値を用いたSquirrelデータセットで43.6%のROC-AUCを達成し、すべてのベースラインを上回った。
• メッセージパッシングGNNは、挿入された外れ値にさらされると性能が低下した。これは、メッセージパッシングが外れ値由来のノイズを拡大する可能性があることを示唆している。
• ポアンカレモデルは、パス+DICE外れ値を用いたAmazonデータセットで89.3%のROC-AUCを達成し、ユークリッド型（85.4%）およびローレンツ型（78.0%）モデルを大きく上回った。
• 双曲空間におけるTransformerベースのモデル（ポアンカレ）は、DICE外れ値を用いたAmazonデータセットで55.5%のAPを達成し、ユークリッド型ベースラインの38.8%を大きく上回った。
• ローレンツモデルはすべてのデータセットで性能が低く、最適化および表現能力に限界があることが示された。
• 提案された外れ値挿入法により、より多様でグラフにインスパイアされた異常を生成でき、GAD手法のより強固な評価が可能になった。