[論文レビュー] Heterogeneous Graph Neural Networks for Malicious Account Detection

Ziqi Liu, Chaochao Chen+4 more|arXiv (Cornell University)|Feb 27, 2020

Network Security and Intrusion Detection参考文献 22被引用数 6

ひとこと要約

本稿では、アリババペイのアカウント-デバイスグラフにおけるデバイスおよびアクティビティ集約パターンをモデル化することで、悪意あるアカウントを検出する、異種グラフニューラルネットワークGEMを提案する。アテンション機構を用いて異なるデバイスタイプの重みを設定し、グラフ畳み込み層を用いて特徴を学習することで、GEMはオンライン導入で98％の精度を達成し、特に高再現率の状況下において、ベースラインを上回る精度-再現率のトレードオフを実現する。

ABSTRACT

We present, GEM, the first heterogeneous graph neural network approach for detecting malicious accounts at Alipay, one of the world's leading mobile cashless payment platform. Our approach, inspired from a connected subgraph approach, adaptively learns discriminative embeddings from heterogeneous account-device graphs based on two fundamental weaknesses of attackers, i.e. device aggregation and activity aggregation. For the heterogeneous graph consists of various types of nodes, we propose an attention mechanism to learn the importance of different types of nodes, while using the sum operator for modeling the aggregation patterns of nodes in each type. Experiments show that our approaches consistently perform promising results compared with competitive methods over time.

研究の動機と目的

• 攻撃者がデバイスおよびアクティビティ集約を活用する大規模な金融プラットフォーム（例：アリババペイ）における悪意あるアカウントの検出という課題に対処すること。
• 信号対雑音比が低いため、高い偽陰性率を示すルールベースおよび従来のグラフ手法の限界を克服すること。
• デバイス集約とアクティビティ集約を攻撃者の根本的弱みとして統合的にモデル化するニューラルネットワークベースのアプローチを開発すること。
• 悪意ある行動を特定する際の異種デバイスタイプ（例：UMID、電話番号、MAC）の適応的かつデータ駆動型の重要度を学習することで、検出性能を向上させること。
• 高い精度と再現率を実現するスケーラブルかつリアルタイムの悪意あるアカウント検出を可能にし、誤検出を低減するとともに、より多くの高リスクアカウントを特定すること。

提案手法

• ノードとしてアカウントおよびさまざまなデバイスタイプ（例：UMID、電話番号、MAC、IMSI）を、エッジとしてアカウント-デバイスの関連性を有する異種アカウント-デバイスグラフを構築する。
• 同じタイプのノード間での特徴集約を可能にするために、和集合集約演算子を用いたグラフ畳み込みネットワーク（GCN）を適用し、グラフ内の構造的パターンを捉える。
• 各デバイスタイプに対する動的かつデータ駆動型の重要度係数を学習するアテンション機構を導入し、ノイズが多いまたは信頼性の低いデバイス（例：IPアドレス）の重みを低く設定できるようにする。
• 複数ホップにわたる情報伝搬を可能にするために、2層のGCNアーキテクチャを採用し、直接接続されていない悪意あるクラスタの検出も可能にする。
• 歴史的ラベル付きデータを用いた教師あり学習により、F1スコアを最適化し、過学習を防ぐためにL2正則化を適用して、エンドツーエンドでモデルを訓練する。
• 精度-再現率曲線、埋め込み次元および深さに関するアブレーションスタディ、アテンション係数の分析を通じて、特徴の重要度を解釈可能な形で評価する。

実験結果

リサーチクエスチョン

• RQ1 異種グラフニューラルネットワークは、攻撃者の弱みとしてのデバイス集約とアクティビティ集約をモデル化することで、悪意あるアカウントを効果的に検出できるか？
• RQ2 アテンション機構は、悪意ある行動を特定する際の異なるデバイスタイプの相対的重要度を学習することで、検出性能をどのように向上させるか？
• RQ3 実世界のアリババペイデータにおいて、従来の連結部分グラフおよびルールベース手法と比較して、グラフニューラルネットワークアプローチは、精度と再現率の両面で優れているか？
• RQ4 この異種グラフ設定において、GCNアーキテクチャの最適な深さと埋め込み次元は何か？ また、それらはモデルの一般化性能にどのように影響するか？
• RQ5 本モデルはリアルタイムシステムに導入可能であり、高い精度とカバレッジを達成できるか？ また、実際の運用において、既存のルールベースシステムと比較してどうなるか？

主な発見

• アテンション機構を備えたGEM-attentionは、AUPRC（精度-再現率曲線下の面積）の観点で、すべてのベースラインを著しく上回る最高の性能を達成する。
• 毎日新規登録された上位10,000アカウントを評価するオンライン導入において、98％を超える精度を達成しており、実運用における高い信頼性を示している。
• GEMは、従来のルールベースシステムに比べて10％以上の悪意あるアカウントを検出できる一方で、高い精度を維持しており、精度を損なわずに再現率が向上していることが示された。
• アテンション係数の分析から、UMID（0.4412）と電話番号（0.2952）が最も情報量の多いデバイスタイプであることが明らかになったのに対し、IMSIとTID（0.0142と0.0125）はほとんど寄与していないことが判明し、モデルの解釈可能性が裏付けられた。
• 少なくとも2層の隠れ層が必要であることが判明した。1層のモデルでは、異種グラフ構造のため、十分な近隣情報が捉えられず、性能が著しく低下する。
• 埋め込み次元を8から128に変化させても、適切な正則化を適用した場合、F1スコアに顕著な影響は見られず、ハイパーパrameter選択に対して高いロバストネスを示した。