[論文レビュー] ResGCN: Attention-based Deep Residual Modeling for Anomaly Detection on Attributed Networks

Yulong Pei, Tianjin Huang+2 more|arXiv (Cornell University)|Sep 30, 2020

Advanced Graph Neural Networks参考文献 39被引用数 7

ひとこと要約

ResGCNは、属性付きネットワークにおける異常検出を目的とした、注目メカニズムを備えた新しいグラフ畳み込みネットワークである。GCNを用いてスパarsityと非線形性を捉え、入力から直接深層の残差表現を学習し、残差に基づく注目メカニズムにより異常ノードの影響を低減することで、過剰平滑化を軽減し、実世界のデータセットにおける検出精度を向上させる。

ABSTRACT

Effectively detecting anomalous nodes in attributed networks is crucial for the success of many real-world applications such as fraud and intrusion detection. Existing approaches have difficulties with three major issues: sparsity and nonlinearity capturing, residual modeling, and network smoothing. We propose Residual Graph Convolutional Network (ResGCN), an attention-based deep residual modeling approach that can tackle these issues: modeling the attributed networks with GCN allows to capture the sparsity and nonlinearity; utilizing a deep neural network allows to directly learn residual from the input, and a residual-based attention mechanism reduces the adverse effect from anomalous nodes and prevents over-smoothing. Extensive experiments on several real-world attributed networks demonstrate the effectiveness of ResGCN in detecting anomalies.

研究の動機と目的

• 構造的および属性的情報を統合することで、属性付きネットワークにおける異常検出の課題に取り組む。
• メッセージ伝達中のスパarsity、非線形性、過剰平滑化に関する従来手法の限界を克服する。
• 再構成誤差に依存するのではなく、入力から直接残差情報をモデル化する深層残差学習フレームワークを開発する。
• 異常ノードからの異常信号の伝搬を低減するため、残差に基づく注目メカニズムを導入する。
• 学習された残差表現に基づく新しい異常ランク付け戦略を提案し、効果的な検出を実現する。

提案手法

• 属性付きネットワークにおけるスパarsityと非線形性を捉えるために、高階層のノード相互作用をモデル化するためのグラフ畳み込みネットワーク（GCN）を活用する。
• 再構成に基づく残差推定に依存しないように、入力特徴および構造から直接残差表現を学習するための深層ニューラルネットワークを採用する。
• 学習された残差情報に基づいて、隣接ノードに動的重みを割り当てる残差ベースの注目メカニズムを導入する。
• メッセージ伝達中に異常ノードの寄与を低減することで、その悪影響を軽減し、過剰平滑化を防ぐ。
• 学習された残差値の大きさに基づくランク付け戦略を適用し、異常ノードを特定・優先順位付けする。
• ノード属性およびトポロジーの再構成損失に加え、残差学習の目的関数を組み合わせた、エンドツーエンドの教師なし学習でモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 再構成ベースの手法と比較して、深層残差学習フレームワークは属性付きネットワークにおける異常検出性能を向上させることができるか？
• RQ2 学習された残差に基づく注目メカニズムは、メッセージ伝達中の異常ノードの影響をどの程度低減するか？
• RQ3 従来のGCNや浅いモデルと比較して、ResGCNは実世界の属性付きネットワークにおける非線形性とスパarsityをどの程度効果的に捉えられるか？
• RQ4 残差ベースの注目メカニズムは、深層GCNアーキテクチャにおいて過剰平滑化を防ぎ、異常ノードの区別性を維持するか？
• RQ5 実世界の属性付きネットワークベンチマークにおいて、ResGCNは最先端の異常検出手法と比較してどの程度優れているか？

主な発見

• AUCおよびF1スコアの観点で、学術的、社会的、金融的ネットワークを含む複数の実世界の属性付きネットワークにおいて、ResGCNは最先端の手法を上回る性能を示した。
• 提案された残差ベースの注目メカニズムは、メッセージ伝達中の異常ノードの影響を顕著に低減し、モデルのロバスト性を向上させた。
• 再構成誤差に基づく残差モデル化の限界を避けるために、入力データから直接残差表現を学習することで、より高い検出精度を達成した。
• 広範なアブレーションスタディにより、GCN、深層残差学習、注目メカニズムの各コンponentが性能向上に寄与していることが確認された。
• ResGCNは多様な属性付きネットワークタイプに強く一般化でき、スパarsityや高い非線形性を持つ環境でも高い性能を維持した。
• 学習された残差値に基づく異常ランク付け戦略は、高い正確性で上位ランクの異常を効果的に特定した。