[論文レビュー] Powerful Graph Convolutioal Networks with Adaptive Propagation Mechanism for Homophily and Heterophily

Tao Wang, Rui Wang+3 more|arXiv (Cornell University)|Dec 27, 2021

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、ノード対間の学習されたヒモフィリー度に基づいて動的に調整される適応的プロパゲーション機構を備えたグラフ畳み込みネットワーク、HOG-GCNを提案する。トポロジーとノード属性から同時にヒモフィリー度を学習することで、ヒモフィリックでもヘテロフィリックでもあるグラフにおいて性能が向上し、低ヒモフィリー度のデータセットでは最先端の手法を上回り、ヒモフィリックなデータセットにおいても競争力ある結果を維持する。

ABSTRACT

Graph Convolutional Networks (GCNs) have been widely applied in various fields due to their significant power on processing graph-structured data. Typical GCN and its variants work under a homophily assumption (i.e., nodes with same class are prone to connect to each other), while ignoring the heterophily which exists in many real-world networks (i.e., nodes with different classes tend to form edges). Existing methods deal with heterophily by mainly aggregating higher-order neighborhoods or combing the immediate representations, which leads to noise and irrelevant information in the result. But these methods did not change the propagation mechanism which works under homophily assumption (that is a fundamental part of GCNs). This makes it difficult to distinguish the representation of nodes from different classes. To address this problem, in this paper we design a novel propagation mechanism, which can automatically change the propagation and aggregation process according to homophily or heterophily between node pairs. To adaptively learn the propagation process, we introduce two measurements of homophily degree between node pairs, which is learned based on topological and attribute information, respectively. Then we incorporate the learnable homophily degree into the graph convolution framework, which is trained in an end-to-end schema, enabling it to go beyond the assumption of homophily. More importantly, we theoretically prove that our model can constrain the similarity of representations between nodes according to their homophily degree. Experiments on seven real-world datasets demonstrate that this new approach outperforms the state-of-the-art methods under heterophily or low homophily, and gains competitive performance under homophily.

研究の動機と目的

• GCNが強いヒモフィリーを仮定するという限界を是正すること。これは、ヘテロフィリーを示す現実世界のネットワークでは失敗する。
• 既存のヘテロフィリー対応GNNが高次近傍集合の集約によって導入するノイズや不要な情報を克服すること。
• 固定された仮定に依存せず、ノード対間のヒモフィリー度に応じて動的に調整されるプロパゲーション機構を設計すること。
• ヒモフィリー度推定と特徴プロパゲーションをエンドツーエンドで学習可能にすることで、一般化性能を向上させること。
• モデルがヒモフィリー度に応じて表現類似度を制約することを理論的に裏付けること。

提案手法

• トポロジーと属性情報からノード対間のヒモフィリー／ヘテロフィリーを捉える学習可能なヒモフィリー度行列を導入する。
• ノード特徴とグラフ構造からのクラス認識可能な表現を用いてヒモフィリー度を推定し、それらを学習可能な重みαとβで結合する。
• ヒモフィリー度行列をグラフ畳み込みフレームワークに組み込み、メッセージパッシングと集約を調整する。
• k階近傍内で一般化されたラベルプロパゲーションとヒモフィリー誘導型特徴プロパゲーション機構を統合し、受容 field とノイズのバランスを取る。
• ヒモフィリー度推定と特徴プロパゲーションをエンドツーエンドで同時に学習する。
• 理論的分析により、モデルがヒモフィリー度に応じて表現類似度を制約することを証明し、両方の設定でより良いクラス分離を可能にする。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みネットワークは、ヒモフィリックおよびヘテロフィリック両方のグラフ構造に対応して、そのプロパゲーション機構を動的に適応させることができるか？
• RQ2 ノード対間のヒモフィリー度は、トポロジーとノード属性の両方から効果的に学習可能であり、特徴プロパゲーションを誘導できるか？
• RQ3 属性情報とトポロジー情報の統合は、低ヒモフィリー度環境下でのGNNのロバストネスと性能を向上させるか？
• RQ4 高次近傍集合の集約に起因するノイズを回避しつつ、ヘテロフィリックネットワークで十分なクラス内情報を取り込むことができるか？
• RQ5 提案された適応的メカニズムは、ヒモフィリー度に応じて表現類似度を制御する観点から理論的に裏付けられているか？

主な発見

• テキサスやコーネルのようなヘテロフィリックネットワークでは、k=2近傍を使用した場合に顕著な性能向上を達成し、k=1やより高いk値を上回る。
• コーラやCiteseerのようなヒモフィリックネットワークでは、k=2で性能が安定またはわずかに向上するが、kが高くなると劣化する。これは、直接近傍で十分であり、高次集約がノイズを引き起こすことを示唆する。
• 属性とトポロジーの重みの最適な組み合わせ（α=0.4、β=0.6）が、テキサスで最高の性能を達成し、両情報源の統合の重要性を裏付ける。
• 学習されたヒモフィリー度行列は、ヒモフィリックエッジに高い重みを、ヘテロフィリックエッジに低い重みを割り当てており、適応的動作を確認している。
• HOG-GCNは、すべての7つの実世界データセット（ヘテロフィリーまたは低ヒモフィリー環境）で最先端の手法を上回り、強いヒモフィリー下でも競争力ある性能を維持する。
• 理論的分析により、モデルがヒモフィリー度に応じて表現類似度を制約することを確認し、ヒモフィリックおよびヘテロフィリック両設定でより良いクラス分離が可能であることが示された。