[論文レビュー] Unsupervised Deep Manifold Attributed Graph Embedding

Zelin Zang, Siyuan Li+4 more|arXiv (Cornell University)|Apr 27, 2021

Advanced Graph Neural Networks参考文献 35被引用数 5

ひとこと要約

本稿では、Bergman散発を用いたノード間地図的類似度の最適化により、構造的および特徴情報の両方を保持する、新しい非教師ありフレームワークであるDeep Manifold Attributed Graph Embedding (DMAGE)を提案する。軽量な完全結合型アグリゲーション層とグラフ増強を導入することで過剰平滑化を軽減し、4つのベンチマークデータセットにおいてノードクラスタリング、リンク予測、可視化の各タスクで最先端の性能を達成した。

ABSTRACT

Unsupervised attributed graph representation learning is challenging since both structural and feature information are required to be represented in the latent space. Existing methods concentrate on learning latent representation via reconstruction tasks, but cannot directly optimize representation and are prone to oversmoothing, thus limiting the applications on downstream tasks. To alleviate these issues, we propose a novel graph embedding framework named Deep Manifold Attributed Graph Embedding (DMAGE). A node-to-node geodesic similarity is proposed to compute the inter-node similarity between the data space and the latent space and then use Bergman divergence as loss function to minimize the difference between them. We then design a new network structure with fewer aggregation to alleviate the oversmoothing problem and incorporate graph structure augmentation to improve the representation's stability. Our proposed DMAGE surpasses state-of-the-art methods by a significant margin on three downstream tasks: unsupervised visualization, node clustering, and link prediction across four popular datasets.

研究の動機と目的

• 再構成に基づく非教師ありグラフ埋め込み手法の限界、すなわちタスク依存性と過剰平滑化の問題を解決すること。
• 自動エンコーダデコーダに依存せずに、低次元の潜在空間にグラフ構造とノード特徴情報を両方保持すること。
• アグリゲーション層を削減した新しいネットワーク設計により、深層GCNアーキテクチャにおける過剰平滑化問題を軽減すること。
• トレーニング中にグラフ構造の増強戦略を用いることで、埋め込みの安定性を向上させること。
• クラスタリング、リンク予測、可視化などの下流タスクにおけるより良い一般化性能と性能を達成すること。

提案手法

• 最短経路を用いて構造的および特徴ベースの関係を捉えるノード間地図的類似度測定法を提案する。
• 学習可能な自由度を有するt分布カーネル関数を用い、クラス内およびクラス間関係のバランスをとる。
• 深層ネットワークにおけるアグリゲーション操作の回数を制限することで過剰平滑化を軽減するため、完全結合型アグリゲーション（FCA）層を導入する。
• データ空間と潜在空間における地図的類似度の差を最小化するために、Bergman散発を損失関数として採用する。
• ホップ1の辺をランダムに追加し、ホップ2の辺をドロップすることで、グラフ構造の増強を実施し、意味論を変更せずに耐性を高める。
• タスク固有の再構成目的を避けるために、バックプロパゲーションを用いて潜在空間表現をエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 類似度ベースのフレームワークは、再構成ベースの手法を上回る性能を示せるか？
• RQ2 FCAによるアグリゲーション層の削減は、深層GCNにおける表現品質にどのように影響し、過剰平滑化をどのように緩和するか？
• RQ3 グラフ構造の増強戦略は、学習された埋め込みの安定性と一般化性能をどの程度向上させるか？
• RQ4 ν_latentとQ_pといったハイパーパrameterは、局所的およびグローバル構造の保存のバランスにどのように影響するか？
• RQ5 提案手法は、教師なし条件下で多様な下流タスクにおいて最先端の性能を達成できるか？

主な発見

• DMAGEはノードクラスタリングにおいて最先端の性能を達成し、CORAでは74.15%、CiteSeerでは69.70%、PubMedでは76.35%、Wikiでは51.51%の正解率を達成した。
• グラフ増強を削除すると、特にPubMed（76.35% → 71.33%）およびWiki（51.51% → 48.64%）で顕著な性能低下が見られ、その安定化効果が裏付けられた。
• FCA層を削除すると、CORAでは73.89%、CiteSeerでは68.37%に低下し、すべての層をGCNに置き換えると完全に崩壊するため、過剰平滑化を防ぐ役割が確認された。
• ソフトな地図的類似度をハードなエッジベース接続に置き換えると、CORAでは65.32%、CiteSeerでは66.78%、PubMedでは65.00%に低下し、地図的類似度が間接的関係を捉える優位性が証明された。
• ハイパーパrameter Q_pは性能に測定可能な影響を与えるが、過敏ではない。最適な範囲を設定することで、クラスタリングタスクでベースライン手法を上回る性能を達成できる。
• t分布カーネルにおけるν_latentの増加により、類似しないノードがより離れるようになり、クラスタ分離が向上し、可視化におけるクラスタの明確化が図られた。