[論文レビュー] Topology and Content Co-Alignment Graph Convolutional Learning

Min Shi, Yufei Tang+1 more|arXiv (Cornell University)|Mar 28, 2020

Advanced Graph Neural Networks参考文献 29被引用数 6

ひとこと要約

本稿では、不整合または不完全なリンクを有するグラフにおけるノード表現学習を向上させるために、トポロジーとコンテンツネットワークを共同で最適化する共通アライメントグラフ畳み込み学習フレームワーク、CoGLを提案する。特徴からコンテンツネットワークを再構築し、コンテンツ、分類、敵対的目的を統合した損失関数を用いて元のトポロジーとコアライメントすることで、6つのベンチマークで最先端の性能を達成し、GCN や GAT などのSOTAモデルを上回る。

ABSTRACT

In traditional Graph Neural Networks (GNN), graph convolutional learning is carried out through topology-driven recursive node content aggregation for network representation learning. In reality, network topology and node content are not always consistent because of irrelevant or missing links between nodes. A pure topology-driven feature aggregation approach between unaligned neighborhoods deteriorates learning for nodes with poor structure-content consistency, and incorrect messages could propagate over the whole network as a result. In this paper, we advocate co-alignment graph convolutional learning (CoGL), by aligning the topology and content networks to maximize consistency. Our theme is to force the topology network to respect underlying content network while simultaneously optimizing the content network to respect the topology for optimized representation learning. Given a network, CoGL first reconstructs a content network from node features then co-aligns the content network and the original network though a unified optimization goal with (1) minimized content loss, (2) minimized classification loss, and (3) minimized adversarial loss. Experiments on six benchmarks demonstrate that CoGL significantly outperforms existing state-of-the-art GNN models.

研究の動機と目的

• 実世界のネットワークにおけるグラフトポロジーとノードコンテンツの不整合を解消し、GNNの性能低下を是正すること。
• トポロジーにおける不要または欠落したリンクによって引き起こされるノイズの多いメッセージパッシングや損なわれたノード関係を克服すること。
• トポロジーとコンテンツネットワークを共にアライメントさせる統合的学習フレームワークを構築し、表現学習を向上させること。
• コンテンツベースの関係を明示的にモデル化することで、信頼性に欠けるネットワークトポロジーへの依存度を低減すること。
• 構造的ノイズが存在する半教師あり設定においても、より優れたノード分類と埋め込み品質を達成すること。

提案手法

• ノード特徴から学習可能な類似度メカニズムを用いて、コンテンツベースの類似性をモデル化することで、コンテンツネットワークを再構築する。
• コンテンツ再構築損失、ノード分類損失、敵対的学習損失の3つの損失を統合した統一最適化目的関数を導入する。
• 生成器が現実的なコンテンツベースのエッジを生成するよう促すために、敵対的学習を用いてトポロジーネットワークとコンテンツネットワークをアライメントする。
• 実際のトポロジーのエッジと生成されたコンテンツベースのエッジを区別できるディスクラミネーターを採用し、敵対的精錬を可能にする。
• 共有最適化を通じてコアライメントを強制しつつ、元のトポロジーと再構築されたコンテンツネットワークの両方でメッセージパッシングを適用する。
• ハイパーパrameter α と β を用いて、コンテンツ再構築、分類、敵対的学習のバランスを取る多成分損失関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 ネットワークトポロジーとノードコンテンツが不一致する状況において、グラフ畳み込み学習はどのように改善できるか？
• RQ2 トポロジーとコンテンツネットワークを同時に最適化することで、トポロジー駆動のアグリゲーションに比べて、より優れたノード表現学習が達成可能か？
• RQ3 学習されたコンテンツネットワークを統合することで、現実世界のグラフにおける欠落または誤ったリンクの処理にどのような影響を与えるか？
• RQ4 トポロジーとコンテンツネットワーク間の敵対的学習は、埋め込み品質と一般化性能をどのように向上させるか？
• RQ5 コアライメントは、ノイズや不完全なグラフ構造がGNN性能に与える悪影響をどの程度軽減するか？

主な発見

• CoGLは全6つのベンチマークデータセットで最高の性能を達成し、GCN や GAT に対して顕著な優位性を示した。
• Cora では 63.86±0.52% の正確性を達成し、2番目に優れたモデル（GAT）の 62.52±0.40% を上回った。
• Citeseer では 58.78±0.39% を達成し、GAT の 58.38±0.48% や GCN の 57.65±0.27% を上回った。
• アブレーションスタディの結果、コンテンツネットワーク構築（α=0.0）または敵対的学習（β=0.0）を削除すると性能が低下し、両者が不可欠であることが確認された。
• Cora における可視化では、CoGLが GCN よりもより判別力があり、良好に分離されたノード埋め込みを学習していることが示された。
• 訓練損失曲線から、分類と敵対的目的の間でバランスの取れた最適化が行われており、安定したコアライメントが実現していることが示された。