[論文レビュー] Simulation and Augmentation of Social Networks for Building Deep Learning Models

Akanda Wahid -Ul- Ashraf, Marcin Budka+1 more|arXiv (Cornell University)|May 22, 2019

Advanced Graph Neural Networks被引用数 8

ひとこと要約

本論文は、潜在的『ソーシャルDNA』（sDNA）モデルに基づくラベル付き真実データを備えた動的で特徴豊富なソーシャルネットワークのシミュレーションフレームワークを提案し、グラフ畳み込みネットワーク（GCN）の高品質な学習データを可能にする。4種類の新規GCN変種を導入し、層順序依存の近隣伝搬に依存するのを軽減し、30個のシミュレートされたデータセットのうち27個で元のGCNを上回る性能を発揮。トポロジー補強型ノード類似度と重み付き特徴行列を用い、オープンソースのGPUアクセラレート型シミュレーションライブラリを提供。

ABSTRACT

A limitation of the Graph Convolutional Networks (GCNs) is that it assumes at a particular $l^{th}$ layer of the neural network model only the $l^{th}$ order neighbourhood nodes of a social network are influential. Furthermore, the GCN has been evaluated on citation and knowledge graphs, but not extensively on friendship-based social graphs. The drawback associated with the dependencies between layers and the order of node neighbourhood for the GCN can be more prevalent for friendship-based graphs. The evaluation of the full potential of the GCN on friendship-based social network requires openly available datasets in larger quantities. However, most available social network datasets are not complete. Also, the majority of the available social network datasets do not contain both the features and ground truth labels. In this work, firstly, we provide a guideline on simulating dynamic social networks, with ground truth labels and features, both coupled with the topology. Secondly, we introduce an open-source Python-based simulation library. We argue that the topology of the network is driven by a set of latent variables, termed as the social DNA (sDNA). We consider the sDNA as labels for the nodes. Finally, by evaluating on our simulated datasets, we propose four new variants of the GCN, mainly to overcome the limitation of dependency between the order of node-neighbourhood and a particular layer of the model. We then evaluate the performance of all the models and our results show that on 27 out of the 30 simulated datasets our proposed GCN variants outperform the original model.

研究の動機と目的

• グラフの深層学習モデルのトレーニングと評価のための、完全でラベル付きかつ特徴豊富なソーシャルネットワークデータセットの不足を解消すること。
• 潜在的ソーシャルDNA（sDNA）モデルに基づき、トポロジー、ノード特徴、真実データラベルを統合する、動的ソーシャルネットワークの体系的シミュレーションフレームワークの開発。
• 標準GCNに内在する層順序依存の近隣伝搬問題を克服する新規GCN変種の設計と評価、特に友人関係ベースのソーシャルネットワークにおいての有効性。
• カスタマイズ可能な特徴とラベルを備えた、スケーラブルな合成ソーシャルネットワークのシミュレーションを可能にする、オープンソースでGPUアクセラレートされたPythonライブラリの提供。

提案手法

• ノードレベルの潜在的属性である『ソーシャルDNA』（sDNA）に基づくネットワークトポロジーを制御するソーシャルネットワークシミュレーションフレームワークを提案。sDNAは真実データラベルとして機能する。
• Katz、RPR、GGスコアを用いたノード類似度ベースの拡張技術を導入し、同一グラフの複数のトポロジカル表現を生成。これにより、モデルの汎化性能が向上。
• 4種類の新規GCN変種を開発：(1) Katz/RPR/GGによるトポロジー符号化類似度行列を備えたGCN、(2) ノードに依存しない学習可能なグローバル特徴パラメータを備えたGCN、(3) 特徴の重要度を反映する重み付き特徴行列を備えたGCN、(4) 過学習を低減するための重み行列の低ランク近似。
• ノード類似度行列に対する再構成技術を用い、拡張されたグラフサンプルを生成。これにより、トレーニング中の過学習を防ぐ正則化効果が得られる。
• 異なるスコアと閾値を用いたノード類似度行列の選択プロセスを採用し、多様なトレーニングサンプルを生成。評価には経験的に選定された閾値を用いる。
• カスタマイズ可能な特徴とラベルを備えた、スケーラブルな合成ソーシャルネットワークのシミュレーションを可能にする、GPUアクセラレートおよびマルチプロセス対応のオープンソースPythonライブラリ（VirtualSoc）を開発・公開。

実験結果

リサーチクエスチョン

• RQ1 合成ソーシャルネットワークシミュレーションフレームワークは、ノード特徴と真実データラベルを備えた、現実のソーシャルネットワークダイナミクスを反映するリアルな完全なデータセットを生成できるか？
• RQ2 層順序に依存しない近隣伝搬を実現するGCN変種は、友人関係ベースのソーシャルネットワークにおいて、標準GCNと比較してどの程度性能が向上するか？
• RQ3 トポロジー符号化ノード類似度（Katz、RPR、GG）と重み付き特徴行列の統合は、合成ソーシャルネットワークデータにおけるGCN性能の向上にどの程度効果的か？
• RQ4 異なる閾値と類似度測定法から導出される拡張ノード類似度行列は、GCNの汎化性能を向上させる正則化データ拡張技術として有効か？
• RQ5 トポロジーのみのGCNモデルが特徴とトポロジーを併用するモデルを上回る条件は何か？また、低ランク重み行列近似のようなアーキテクチャ的変更によって、この現象は是正可能か？

主な発見

• 提案されたGCN変種は、30個のシミュレートされたデータセットのうち27個で元のGCNを上回り、ノード分類精度に顕著な向上を示した。
• 重み付き特徴行列を備えたGCN変種は、30個のデータセットのうち27個でトポロジーのみのモデルを上回った。これにより、特徴統合プロセスの有効性が裏付けられた。
• 3つのデータセットではトポロジーのみのモデルが特徴＋トポロジーのモデルを上回った。これは、特徴がトポロジーに冗長または不適切に符号化されている可能性を示唆。この問題は、低ランク重み行列近似を導入することで過学習を軽減することで是正された。
• 複数の拡張ノード類似度行列（閾値と類似度測定法を組み合わせて生成）の使用により、モデルの汎化性能が向上し、GCNトレーニングにおける過学習を効果的に低減する正則化効果が得られた。
• 提案されたシミュレーションフレームワークは、sDNAモデルが予測可能でラベル一貫性を持つノード分類を可能にし、合成データの現実性と実用性を検証した。
• オープンソースのVirtualSocライブラリは、カスタマイズ可能な特徴とラベルを備えた大規模かつ動的ソーシャルネットワークの高パフォーマンスなGPUアクセラレートシミュレーションを可能にし、グラフディープラーニング分野の今後の研究を支援する。