[논문 리뷰] PDNS-Net: A Large Heterogeneous Graph Benchmark Dataset of Network Resolutions for Graph Learning

Udesh Kumarasinghe, Fatih Deniz외 1명|arXiv (Cornell University)|2022. 03. 15.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

PDNS-Net는 악성 도메인 분류를 위한 피아스티브 DNS 데이터를 사용하여, 447K 노드와 897K 엣지로 구성된 가장 큰 공개된 이질적 그래프 데이터셋을 소개한다. 이는 대규모 그래프 학습 연구를 가능하게 한다. 이 연구는 이질적 GNN 모델이 큰 그래프에서 동종 모델보다 성능이 뛰어나지만, 성능 향상이 일관되지 않음을 밝혀내며, 이질적 데이터에서의 향상된 모델 개발의 필요성을 강조한다.

ABSTRACT

In order to advance the state of the art in graph learning algorithms, it is necessary to construct large real-world datasets. While there are many benchmark datasets for homogeneous graphs, only a few of them are available for heterogeneous graphs. Furthermore, the latter graphs are small in size rendering them insufficient to understand how graph learning algorithms perform in terms of classification metrics and computational resource utilization. We introduce, PDNS-Net, the largest public heterogeneous graph dataset containing 447K nodes and 897K edges for the malicious domain classification task. Compared to the popular heterogeneous datasets IMDB and DBLP, PDNS-Net is 38 and 17 times bigger respectively. We provide a detailed analysis of PDNS-Net including the data collection methodology, heterogeneous graph construction, descriptive statistics and preliminary graph classification performance. The dataset is publicly available at https://github.com/qcri/PDNS-Net. Our preliminary evaluation of both popular homogeneous and heterogeneous graph neural networks on PDNS-Net reveals that further research is required to improve the performance of these models on large heterogeneous graphs.

연구 동기 및 목표

• 그래프 학습 연구를 위한 대규모 공개 이질적 그래프 데이터셋의 부족 문제를 해결하기 위해.
• 악성 도메인 분류를 위한 실제 세계의 대규모 이질적 그래프를 피아스티브 DNS 데이터에서 구축하기 위해.
• 사전에 알려지지 않은 크기의 데이터셋에서 동종 및 이질적 그래프 신경망의 벤치마킹을 가능하게 하기 위해.
• 대규모 이질적 그래프에서의 그래프 학습 성능 격차와 연구 과제를 규명하기 위해.
• 현실 세계의 네트워크 그래프에서 불균형 분류, 적대적 견고성, 해석 가능성 분야의 연구를 발전시키기 위한 기반을 제공하기 위해.

제안 방법

• VirusTotal에서 확보한 20,354개의 악성 도메인과 Farsight Security의 피아스티브 DNS 해상결과 데이터를 기반으로 PDNS-Net을 구축하였다.
• DNS 해상결과 패턴을 활용하여 노드 유형(도메인, IP)과 엣지 유형(도메인이 IP로 해석됨, 서브도메인 관계)을 포함한 이질적 그래프를 구축하였다.
• 모델 평가 및 확장성 테스트를 위해 Leskovec과 Faloutsos(2006)의 데이터 샘플링 기법을 적용하여 더 작은 버전인 mPDNS-Net을 생성하였다.
• PyTorch Geometric(PyG)를 사용하여 동종(GCN, GraphSAGE, GAT) 및 이질적 모델(HGT, HeteroSAGE, HeteroGAT)을 포함한 다양한 GNN 변종을 구현하고 학습시켰다.
• 유사한 차원을 가진 특징을 병합하고 누락된 차원은 0으로 패딩하여 서로 다른 유형의 노드 특징을 공통 임bedding 공간으로 매핑하였다.
• Adam 옵timizer를 사용하여 200 에포크 동안 학습하였으며, 학습률(lr)는 5×10⁻³, 가중치 감쇠(weight decay)는 1×10⁻³로 설정하였고, 두 개의 GNN 층(64개의 은닉 유닛)과 최종 선형 분류기로 구성된 모델을 사용하였다.

실험 결과

연구 질문

• RQ1 PDNS-Net과 같은 대규모 이질적 그래프에서 동종 및 이질적 GNN 모델의 성능은 어떻게 되는가?
• RQ2 그래프 크기가 증가할수록 동종 및 이질적 GNN의 분류 성능이 향상되는가?
• RQ3 동종 GNN 모델은 확장성은 뛰어나지만 대규모 이질적 그래프에서 성능이 열등한 이유는 무엇인가?
• RQ4 이질적 GNN 모델은 대규모 실세계 네트워크 그래프에서 동종 모델보다 뚜렷한 성능 향상을 달성할 수 있는가?
• RQ5 대규모 실세계 이질적 그래프에서 기존 GNN 모델을 네트워크 보안 작업에 구현할 때의 주요 과제는 무엇인가?

주요 결과

• PDNS-Net은 IMDB의 38배, DBLP의 17배 더 큰 데이터셋으로, 그래프 학습을 위한 가장 큰 공개 이질적 그래프 데이터셋이다.
• 이질적 GNN 모델(HeteroGAT)은 PDNS-Net에서 F1 스코어 94%와 AUC 96%를 기록하여, 동종 모델(GCN)의 F1 스코어 77%, AUC 77%를 뛰어넘었다.
• 더 큰 PDNS-Net 데이터셋에서 이질적 모델은 뚜렷한 성능 향상을 보였지만, 동종 모델은 그렇지 않았으며, 이는 확장성 또는 표현 불일치 문제를 시사한다.
• HeteroSAGE와 HeteroGAT는 PDNS-Net에서 93% 정확도와 94% F1 스코어를 기록하여, 대규모 그래프에서 이질적 메시지 전파의 효과성을 입증하였다.
• 더 작은 mPDNS-Net에서 이질적 모델의 성능 향상 폭이 미미한 것은 현재 모델들이 아직 소규모 이질적 그래프에 최적화되어 있지 않음을 시사한다.
• HeteroGAT의 오분류율(FPR)은 PDNS-Net에서 단지 6%에 불과하여, 악성 도메인 탐지에서 뛰어난 견고성을 보였다.