[論文レビュー] PDNS-Net: A Large Heterogeneous Graph Benchmark Dataset of Network Resolutions for Graph Learning

Udesh Kumarasinghe, Fatih Deniz+1 more|arXiv (Cornell University)|Mar 15, 2022

Advanced Graph Neural Networks被引用数 5

ひとこと要約

PDNS-Netは、パassive DNSデータを用いた悪意あるドメイン分類のための、447Kノード、897Kエッジを有する、公開済みで最大の異種グラフデータセットを導入した。これにより大規模なグラフ学習研究が可能になった。異種GNNが大規模グラフにおいて同種モデルを上回ることを明らかにしたが、性能向上は一貫してではなく、異種データに対するより優れたモデルの開発が求められることが示された。

ABSTRACT

In order to advance the state of the art in graph learning algorithms, it is necessary to construct large real-world datasets. While there are many benchmark datasets for homogeneous graphs, only a few of them are available for heterogeneous graphs. Furthermore, the latter graphs are small in size rendering them insufficient to understand how graph learning algorithms perform in terms of classification metrics and computational resource utilization. We introduce, PDNS-Net, the largest public heterogeneous graph dataset containing 447K nodes and 897K edges for the malicious domain classification task. Compared to the popular heterogeneous datasets IMDB and DBLP, PDNS-Net is 38 and 17 times bigger respectively. We provide a detailed analysis of PDNS-Net including the data collection methodology, heterogeneous graph construction, descriptive statistics and preliminary graph classification performance. The dataset is publicly available at https://github.com/qcri/PDNS-Net. Our preliminary evaluation of both popular homogeneous and heterogeneous graph neural networks on PDNS-Net reveals that further research is required to improve the performance of these models on large heterogeneous graphs.

研究の動機と目的

• グラフ学習研究における大規模で公開可能な異種グラフデータセットの不足に対処すること。
• 実世界の大規模な異種グラフを、パssive DNSデータから構築し、悪意あるドメイン分類に用いること。
• 前例のない規模のデータセット上で、同種および異種グラフニューラルネットワークのベンチマーク化を可能にすること。
• 大規模な異種グラフにおけるグラフ学習のパフォーマンスギャップおよび研究課題を特定すること。
• 現実世界のネットワークグラフにおける不均衡分類、敵対的耐性、説明可能性の分野における研究を前進させる基盤を提供すること。

提案手法

• VirusTotalから収集した20,354の悪意あるドメインとFarsight Securityのパssive DNS解像度データを用いてPDNS-Netを構築した。
• DNS解像度パターンを基に、ノードタイプ（ドメイン、IP）およびエッジタイプ（ドメインがIPに解釈される、サブドメイン関係）を持つ異種グラフを構築した。
• LeskovecとFaloutsos（2006）のデータサンプリング手法を適用し、モデル評価およびスケーラビリティテスト用に小さなバージョン、mPDNS-Netを作成した。
• PyTorch Geometric（PyG）を用いて、同種モデル（GCN、GraphSAGE、GAT）および異種モデル（HGT、HeteroSAGE、HeteroGAT）の複数のGNNバリアントを実装・学習した。
• 同じ次元の特徴量を統合し、欠損次元をゼロでパディングすることで、異なるタイプのノード特徴量を共通の埋め込み空間にマッピングした。
• Adam最適化アルゴリズム（初期学習率5×10⁻³、重み減衰1×10⁻³）を用い、200エポックにわたり学習を実施。2層のGNN（64次元の隠れユニット）と最終段の線形分類器を用いた。

実験結果

リサーチクエスチョン

• RQ1 PDNS-Netのような大規模な異種グラフ上で、同種および異種GNNモデルの性能はいかがであるか？
• RQ2 グラフサイズの拡大は、同種および異種GNNの分類性能を向上させるか？
• RQ3 同種GNNはスケーラビリティに優れているが、大規模な異種グラフではなぜ性能が劣るのか？
• RQ4 異種GNNは、大規模で現実世界のネットワークグラフにおいて、同種モデルを著しく上回る性能を達成できるか？
• RQ5 大規模で現実世界の異種グラフ上で、既存のGNNモデルをネットワークセキュリティタスクに展開するにあたり、主な課題は何か？

主な発見

• PDNS-NetはIMDBの38倍、DBLPの17倍も大きく、グラフ学習分野における公開済みで最大の異種グラフデータセットである。
• 異種GNN（例：HeteroGAT）はPDNS-Netで94％のF1スコア、96％のAUCを達成し、同種モデル（GCN：77％F1、77％AUC）を上回った。
• より大きなPDNS-Netデータセット上では、異種モデルに顕著な性能向上が見られたが、同種モデルには見られず、スケーラビリティまたは表現の不一致が原因であると示唆された。
• HeteroSAGEおよびHeteroGATはPDNS-Netで93％の精度、94％のF1スコアを達成し、大規模グラフにおける異種メッセージパッシングの有効性を示した。
• mPDNS-Netでは異種モデルの性能向上がわずかであったため、現在のモデルはまだ小規模な異種グラフに最適化されていないことが示唆された。
• HeteroGATの偽陽性率（FPR）はPDNS-Netでたった6％にとどまり、悪意あるドメイン検出における強い耐性を示した。