[論文レビュー] A Large-Scale Database for Graph Representation Learning

Scott Freitas, Yuxiao Dong+2 more|arXiv (Cornell University)|Nov 16, 2020

Advanced Graph Neural Networks参考文献 59被引用数 14

ひとこと要約

本稿では、120万件のマルウェア関数コールグラフ（平均15,000ノード、35,000エッジ）を含み、47種類のマルウェアタイプと696のファミリーにわたり、これまでで最大の公開グラフデータベースであるMalNetを紹介する。これは、グラフ表現学習のスケーラビリティの課題を明らかにするとともに、前例のない規模で単純なベースラインの有効性を示す大規模な評価を可能にする。

ABSTRACT

With the rapid emergence of graph representation learning, the construction of new large-scale datasets is necessary to distinguish model capabilities and accurately assess the strengths and weaknesses of each technique. By carefully analyzing existing graph databases, we identify 3 critical components important for advancing the field of graph representation learning: (1) large graphs, (2) many graphs, and (3) class diversity. To date, no single graph database offers all these desired properties. We introduce MalNet, the largest public graph database ever constructed, representing a large-scale ontology of malicious software function call graphs. MalNet contains over 1.2 million graphs, averaging over 15k nodes and 35k edges per graph, across a hierarchy of 47 types and 696 families. Compared to the popular REDDIT-12K database, MalNet offers 105x more graphs, 39x larger graphs on average, and 63x more classes. We provide a detailed analysis of MalNet, discussing its properties and provenance, along with the evaluation of state-of-the-art machine learning and graph neural network techniques. The unprecedented scale and diversity of MalNet offers exciting opportunities to advance the frontiers of graph representation learning--enabling new discoveries and research into imbalanced classification, explainability and the impact of class hardness. The database is publicly available at www.mal-net.org.

研究の動機と目的

• グラフ表現学習手法を評価するための、大規模で多様性に富み、クラスが豊富なグラフデータセットの不足を解消すること。
• REDDIT-12Kなどの既存ベンチマークは、サイズ、規模、クラス多様性の点で不十分であるため、それらの制限を克服すること。
• グラフ表現学習におけるクラス不均衡分類、モデルの説明可能性、クラスの難易度に関する研究を可能にすること。
• コミュニティが利用可能な大規模かつ多様なグラフデータセットを提供し、分野における新しいベンチマークを確立すること。
• 最先端のグラフニューラルネットワークや表現学習手法のスケーラビリティと頑健性に関する新たな知見の発見を促進すること。

提案手法

• ノードが関数、エッジが関数間コールを表す、マルウェア関数コールグラフ（FCG）の大型オントロジーとしてMalNetを構築する。
• VirusTotalレポートに基づき、Euphony分類システムを活用して各FCGを47種類のマルウェアタイプと696のファミリーに階層的に分類する。
• プロバンスを保持し、信頼性の高いラベル付けを可能とするために、各サンプルあたり最大70のアンチウイルスラベルを含む、元のVirusTotalレポートを統合・公開する。
• エッジリスト形式でデータセットを格納し、合計443 GB以上にのぼり、グラフサイズ、次数分布、クラス分布に関する包括的な記述統計を提供する。
• CC-BYライセンスでデータセットを公開し、GitHubでオープンソースコードを提供することで、再現性とコミュニティの採用を促進する。
• GNNやグラフカーネルを含む最先端のグラフ表現学習モデルを、複数の評価指標を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 120万件のグラフと高いクラス多様性を有するデータセット上で、現在のグラフ表現学習モデルはどの程度のスケールで性能を発揮するか？
• RQ2 15,000ノード以上、35,000エッジ以上の大きなグラフに適用した場合、既存のグラフニューラルネットワークやグラフカーネルにどのようなスケーラビリティの制限があるか？
• RQ3 クラス不均衡がグラフ分類タスクのモデル性能に与える影響は何か？また、スケールが大きい環境下で、単純なベースラインが複雑なモデルを上回る可能性はあるか？
• RQ4 MalNetは、グラフ表現学習におけるモデルの説明可能性とクラス難易度の影響をどの程度まで研究可能にするか？
• RQ5 MalNetの前例のない規模と多様性は、より小さなベンチマークでは観察できない、グラフ表現学習における新たなパターンや行動を明らかにできるか？

主な発見

• MalNetは120万件のグラフを含み、ノード数・エッジ数の観点でREDDIT-12Kの平均39倍大きく、クラス数は63倍多い。
• データセットは47種類のマルウェアタイプと696のファミリーをカバーしており、グラフサイズは数100から10万以上ノード・エッジを有するものまで多様である。
• 評価から、特にクラス不均衡下で、最先端のGNNやグラフカーネルが大規模グラフに対して顕著なスケーリングの課題を示していることが判明した。
• 単純なベースライン（例：グラフレベルのプーリングやランダム特徴量）がMalNet上で驚くほど優れた性能を示し、モデルの複雑さの必要性に関する仮定を問い直す要因となった。
• 一部のファミリーはサンプルが数個しかなく、データセットに内在する深刻なクラス不均衡が、モデルの汎化性能と公平性に悪影響を及けることが明らかになった。
• MalNetは、多様で不均衡なクラスをカバーするため、説明可能性やクラス難易度に関する新たな研究を可能にした。これは、多様なクラスにおけるモデル挙動の分析が可能であることに裏付けられている。