[논문 리뷰] A Large-Scale Database for Graph Representation Learning

Scott Freitas, Yuxiao Dong외 2명|arXiv (Cornell University)|2020. 11. 16.

Advanced Graph Neural Networks참고 문헌 59인용 수 14

한 줄 요약

이 논문은 지금까지 공개된 바 중 가장 큰 그래프 데이터베이스인 MalNet을 소개한다. MalNet은 120만 개의 악성코드 기능 호출 그래프를 포함하며, 평균적으로 각 그래프당 약 15,000개의 노드와 35,000개의 에지가 있으며, 총 47종의 유형과 696개의 가족으로 구성되어 있다. 이 데이터베이스를 통해 그래프 표현 학습 기법의 대규모 평가가 가능해지며, 스케일러빌리티 문제와 높은 규모에서 단순 기준 모델의 효과성을 규명할 수 있다.

ABSTRACT

With the rapid emergence of graph representation learning, the construction of new large-scale datasets is necessary to distinguish model capabilities and accurately assess the strengths and weaknesses of each technique. By carefully analyzing existing graph databases, we identify 3 critical components important for advancing the field of graph representation learning: (1) large graphs, (2) many graphs, and (3) class diversity. To date, no single graph database offers all these desired properties. We introduce MalNet, the largest public graph database ever constructed, representing a large-scale ontology of malicious software function call graphs. MalNet contains over 1.2 million graphs, averaging over 15k nodes and 35k edges per graph, across a hierarchy of 47 types and 696 families. Compared to the popular REDDIT-12K database, MalNet offers 105x more graphs, 39x larger graphs on average, and 63x more classes. We provide a detailed analysis of MalNet, discussing its properties and provenance, along with the evaluation of state-of-the-art machine learning and graph neural network techniques. The unprecedented scale and diversity of MalNet offers exciting opportunities to advance the frontiers of graph representation learning--enabling new discoveries and research into imbalanced classification, explainability and the impact of class hardness. The database is publicly available at www.mal-net.org.

연구 동기 및 목표

• 그래프 표현 학습 기법 평가를 위한 대규모, 다양한 종류, 고급 종류를 포함한 그래프 데이터셋의 부족 문제를 해결하기 위해.
• REDDIT-12K와 같은 기존 벤치마크가 크기, 스케일, 종류 다양성 측면에서 너무 작다는 한계를 극복하기 위해.
• 그래프 표현 학습에서의 불균형 분류, 모델 해석 가능성, 종류의 어려움 연구를 가능하게 하기 위해.
• 공개 가능하고 대규모이며 다양한 그래프 데이터셋을 제공하여 분야의 새로운 기준이 되도록 하기 위해.
• 최신 기술 기반 그래프 신경망 및 표현 학습 방법의 스케일러빌리티와 강건성에 대한 새로운 통찰을 도출할 수 있도록 하기 위해.

제안 방법

• 노드는 함수를, 에지는 함수 간의 상호 프로시저 호출을 나타내는 악성코드 기능 호출 그래프(FCG)로 구성된 대규모 온톨로지인 MalNet을 구축한다.
• VirusTotal 보고서를 기반으로 Euphony 분류 체계를 활용하여 각 FCG를 총 47종의 유형과 696개의 가족으로 계층적 분류한다.
• 기록의 출처를 유지하고 강력한 레이블링을 지원하기 위해 원본 VirusTotal 보고서(샘플당 최대 70개의 악성코드 탐지 레이블 포함)를 집계 및 공개한다.
• 에지 목록 형식으로 데이터셋을 저장하여 총 443GB 이상의 용량을 확보하였으며, 그래프 크기, 차수 분포, 종류 분포에 대한 포괄적인 기술 통계를 제공한다.
• CC-BY 라이선스 하에 데이터셋을 공개하고 GitHub에 오픈소스 코드를 제공하여 재현 가능성과 커뮤니티의 도입을 보장한다.
• 다양한 평가 지표를 기반으로 최신 그래프 표현 학습 모델(예: GNN 및 그래프 커널 포함)을 평가하기 위해 데이터셋을 활용한다.

실험 결과

연구 질문

• RQ1 120만 개의 그래프와 높은 종류 다양성을 가진 데이터셋에서 현재의 그래프 표현 학습 모델은 어떤 성능을 보이는가?
• RQ2 노드 수 15,000개 이상, 에지 수 35,000개 이상인 대규모 그래프에 대해 기존 그래프 신경망과 그래프 커널의 스케일러빌리티 제약은 무엇인가?
• RQ3 불균형 분류 상황에서 그래프 분류 작업의 모델 성능에 어떤 영향을 미치며, 단순 기준 모델이 대규모 스케일에서 복잡한 모델을 능가할 수 있는가?
• RQ4 MalNet은 그래프 표현 학습에서의 모델 해석 가능성과 종류의 어려움 영향 연구를 어느 정도 지원할 수 있는가?
• RQ5 MalNet의 사상적인 규모와 다양성은 이전의 작은 벤치마크에서는 관찰되지 않았던 그래프 표현 학습의 새로운 패tern이나 행동 양식을 드러낼 수 있는가?

주요 결과

• MalNet은 총 120만 개의 그래프를 포함하며, 노드 및 에지 수 기준으로 REDDIT-12K보다 평균적으로 39배 크고, 종류 수는 63배 더 많다.
• 데이터셋은 총 47종의 악성코드 유형과 696개의 가족을 포함하며, 그래프 크기는 수백 개에서 10만 개 이상의 노드와 에지까지 다양하다.
• 평가 결과, 대규모 그래프에서 최신 기술 기반 GNN 및 그래프 커널의 스케일러빌리티에 심각한 제약이 드러났으며, 특히 종류 불균형 상황에서 더욱 두드러진다.
• 간단한 기준 모델, 예를 들어 그래프 수준의 풀링 또는 무작위 특징 추출 방식이 MalNet에서 놀라울 정도로 높은 성능을 보이며, 모델 복잡성의 필요성에 대한 기존 가정을 도전한다.
• 데이터셋은 일부 가족이 몇 개의 샘플만 포함하는 본질적인 종류 불균형을 드러내며, 이는 모델의 일반화 능력과 공정성에 영향을 준다.
• MalNet은 종류의 다양성과 불균형성을 바탕으로 모델 행동 분석이 가능함을 입증함으로써, 모델 해석 가능성 및 종류의 어려움 연구에 새로운 연구 기회를 제공한다.