[論文レビュー] Ego-based Entropy Measures for Structural Representations

George Dasoulas, Giannis Nikolentzos+3 more|arXiv (Cornell University)|Mar 1, 2020

Complex Network Analysis Techniques参考文献 24被引用数 4

ひとこと要約

本稿では、半径を徐々に増加させるエゴネットワークにおけるフォン・ノイマンエントロピーを用いて、低次元の構造的ノード埋め込みを計算的に効率的に学習するVNEstructを提案する。局所的近傍におけるトポロジカルな複雑さを捉えることで、高い速度と頑健性を維持しながら、グラフ分類タスクで最先端の性能を達成し、メッセージパッシングGNNを複数のベンチマークで上回る。計算コストは最小限に抑えられる。

ABSTRACT

In complex networks, nodes that share similar structural characteristics often exhibit similar roles (e.g type of users in a social network or the hierarchical position of employees in a company). In order to leverage this relationship, a growing literature proposed latent representations that identify structurally equivalent nodes. However, most of the existing methods require high time and space complexity. In this paper, we propose VNEstruct, a simple approach for generating low-dimensional structural node embeddings, that is both time efficient and robust to perturbations of the graph structure. The proposed approach focuses on the local neighborhood of each node and employs the Von Neumann entropy, an information-theoretic tool, to extract features that capture the neighborhood's topology. Moreover, on graph classification tasks, we suggest the utilization of the generated structural embeddings for the transformation of an attributed graph structure into a set of augmented node attributes. Empirically, we observe that the proposed approach exhibits robustness on structural role identification tasks and state-of-the-art performance on graph classification tasks, while maintaining very high computational speed.

研究の動機と目的

• 複雑なネットワークにおける機能的役割を捉える、高速でスケーラブルな構造的ノード埋め込みの学習手法を開発すること。
• 従来の構造的表現学習手法の高い時間的・空間的計算複雑度に対処すること。
• エントロピーに基づく構造的特徴をノード属性に追加することで、効果的なグラフ分類を可能にすること。
• 近傍表現におけるグラフの摂動に対する頑健性と置換不変性を確保すること。
• メッセージパッシングGNNの代替として前処理ベースの手法を提供し、トレーニングコストを低減しながら性能を維持すること。

提案手法

• 各ノードの周囲に最大半径 r ∈ {1,2,3,4} までを考慮したエゴネットワークを構築し、局所的な構造的文脈を捉える。
• 各エゴネットワークに対して、正規化ラプラシアン行列のフォン・ノイマンエントロピーを計算し、トポロジカルな複雑さを定量化する。
• 複数の半径におけるエントロピー値が、階層的な近傍構造を符号化するノードごとの構造的特徴ベクトルを形成する。
• これらのエントロピーに基づく特徴を元のノード属性と連結して、拡張されたノード表現を形成する。
• 拡張された特徴を、グラフ分類などの下流タスクに使用するための標準的なニューラルネットワークの入力として用いる。
• このアプローチは置換不変であり、モデルに依存しない。局所的グラフ構造と情報理論的測度にのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 エゴネットワークにおけるフォン・ノイマンエントロピーは、複雑なネットワークにおける構造的役割を効果的に捉えることができるか？
• RQ2 本手法は、グラフ分類タスクにおいて最先端のGNNと比較して、性能と効率性の面で優れているか？
• RQ3 事前に計算された構造的埋め込みにより、トレーニング速度が向上し、かつ精度が維持または向上するか？
• RQ4 本手法はグラフ構造の摂動に対してどの程度頑健か？
• RQ5 エントロピーに基づく特徴は、グラフレベルの予測タスクにおけるノード属性の拡張に効果的か？

主な発見

• VNEstructは4つのグラフ分類データセットのうち3つ（MUTAG, PTC-MR, IMDB-BINARY）で最先端の性能を達成し、GIN、GCN、DGCNNを上回った。
• PROTEINSデータセットでは2番目の高い精度を達成し、強力な競争力のある性能を示した。
• エポックあたりのトレーニング速度はGINの0.31倍、GCNの0.60倍にまで高速化された。これは、事前計算された構造的特徴のおかげである。
• VNEstructは、複数回の実行における標準偏差が5％未満という安定した性能を示し、グラフ摂動に対して高い頑健性を示した。
• IMDB-BINARYでは91.08% ± 5.65の精度を達成し、GFN（90.84%）を上回り、トップパフォーマンスを示すGNNと同等の性能を達成した。
• 低次元の埋め込み（d ≤ 4）であるため、メモリ使用量が最小限に抑えられ、大規模グラフに適している。