[論文レビュー] Structure-Preserving Graph Representation Learning

Ruiyi Fang, Liangjian Wen+2 more|arXiv (Cornell University)|Sep 2, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、構造を保存するグラフ表現学習（SPGRL）を提案する。この新規手法は、元のグラフ構造と特徴埋め込みの間の相互情報量（MI）を最大化することで、グラフ表現学習を向上させる。対照的学習のためにk-NNに基づく特徴グラフを構築し、MIの最大化による自己再構成を強制することで、半教師ありノード分類において最先端の性能を達成するとともに、特徴および構造的ノイズ摂動に対して優れた耐性を示す。

ABSTRACT

Though graph representation learning (GRL) has made significant progress, it is still a challenge to extract and embed the rich topological structure and feature information in an adequate way. Most existing methods focus on local structure and fail to fully incorporate the global topological structure. To this end, we propose a novel Structure-Preserving Graph Representation Learning (SPGRL) method, to fully capture the structure information of graphs. Specifically, to reduce the uncertainty and misinformation of the original graph, we construct a feature graph as a complementary view via k-Nearest Neighbor method. The feature graph can be used to contrast at node-level to capture the local relation. Besides, we retain the global topological structure information by maximizing the mutual information (MI) of the whole graph and feature embeddings, which is theoretically reduced to exchanging the feature embeddings of the feature and the original graphs to reconstruct themselves. Extensive experiments show that our method has quite superior performance on semi-supervised node classification task and excellent robustness under noise perturbation on graph structure or node features.

研究の動機と目的

• 局所的およびグローバルなトポロジカル構造を同時に捉えることのできない既存のグラフ表現学習手法の限界を解消すること。
• マルチレイヤー設定における深層GCNによる過剰平滑化および特徴識別力の低下を克服すること。
• 相互情報量の最大化を活用することで、データ拡張やドメイン特化のエンジニアリングに依存するのを減らすこと。
• 構造保存型表現学習により、ノード特徴およびグラフ構造に対するノイズに強い耐性を向上させること。
• 広範なハイパーパrameterチューニングを必要としない自己教師付きフレームワークを構築し、トポロジカルおよび特徴情報の効果的な統合を実現すること。

提案手法

• 特徴伝搬を促進し、元のグラフにおける不確実性を低減するために、補助的な視点としてk-Nearest Neighbor（k-NN）特徴グラフを構築する。
• 元のグラフと特徴グラフの間でノードレベルの対照的学習を実施し、局所的構造的および特徴的関係を捉える。
• グローバルグラフ埋め込みとグローバル特徴埋め込みの間の相互情報量（MI）を最大化することで、グローバルなトポロジカル構造を保持する。
• 理論的にMI最大化を自己再構成タスクに再定式化し、元のグラフおよび特徴グラフからの埋め込みを交換して再構成する。
• 対照的目的関数と相互情報量最大化目的関数を併用して、エンドツーエンドでモデルを学習し、局所的およびグローバル構造の保存を同時に最適化する。
• 低次元で判別力の高いノード表現を生成するために、GCNベースのエンコーダーフレームワークに本手法を統合する。

実験結果

リサーチクエスチョン

• RQ1 グラフ構造と特徴埋め込みの間の相互情報量を最大化することで、学習されたノード埋め込みの品質が向上するか？
• RQ2 低ラベルレート下における半教師ありノード分類において、SPGRLは最先端手法と比較してどのように性能を発揮するか？
• RQ3 ノード特徴またはグラフ構造に対するノイズ摂動に対して、SPGRLはどの程度の性能を維持するか？
• RQ4 k-NN構築におけるハイパーパrameter k に対して、SPGRLはどの程度感受的か？
• RQ5 データ拡張に依存せずに、自己再構成に基づくMI最大化戦略が、グローバル構造情報を効果的に保存できるか？

主な発見

• SPGRLは、学術論文ネットワークにおいて、AMGCN、SCRL、GCAをそれぞれ平均5.87%、1.91%、4.40%上回る最先端の性能を達成した。
• ラベルレートが0.5%のCiteseerデータセットにおいて、SPGRLは60ラベル/クラスタで66.2%の高い正確性を維持し、GCN、ChebNet、GATが低監視下で著しく性能を低下させるのに対し、顕著に優れた性能を示した。
• ガウスノイズ摂動（σ=1.0）下で、ACMデータセット（20ラベル/クラスタ）においてSPGRLは73.2%の正確性を達成し、SCRL（62.8%）およびGFNN（52.6%）を上回り、強い耐性を示した。
• 本手法はk値の広い範囲で有効であり、中程度のkで性能がピークに達し、非常に大きなk値でもわずかに低下するにとどまり、ハイパーパrameter選択に対する安定性と感受性の低さを示した。
• SPGRLは複数のデータセット（ACM、BlogCatalog、UAI2010、Flickr、Citeseer）で一貫した優位性を示し、クリーンおよびノイズ混在環境の両方で優れた性能を発揮した。
• アブレーションスタディにより、トポロジカルおよび特徴埋め込み間のMI最大化が、グローバル構造の保持と一般化性能の向上を可能にする主要因であることが確認された。