[論文レビュー] Less is More: on the Over-Globalizing Problem in Graph Transformers

Yujie Xing, Xiao Wang+3 more|arXiv (Cornell University)|May 2, 2024

Graph Theory and Algorithms被引用数 9

ひとこと要約

本論文は Graph Transformer における過度のグローバル化問題を調査し、グローバル注意がノード表現に害を及ぼす理由を分析し、局所的な GCN と統合して一般化を改善する協調トレーニングを備えた CoBFormer（協調トレーニング型バイレベルグローバルトランスフォーマー）を提案する。

ABSTRACT

Graph Transformer, due to its global attention mechanism, has emerged as a new tool in dealing with graph-structured data. It is well recognized that the global attention mechanism considers a wider receptive field in a fully connected graph, leading many to believe that useful information can be extracted from all the nodes. In this paper, we challenge this belief: does the globalizing property always benefit Graph Transformers? We reveal the over-globalizing problem in Graph Transformer by presenting both empirical evidence and theoretical analysis, i.e., the current attention mechanism overly focuses on those distant nodes, while the near nodes, which actually contain most of the useful information, are relatively weakened. Then we propose a novel Bi-Level Global Graph Transformer with Collaborative Training (CoBFormer), including the inter-cluster and intra-cluster Transformers, to prevent the over-globalizing problem while keeping the ability to extract valuable information from distant nodes. Moreover, the collaborative training is proposed to improve the model's generalization ability with a theoretical guarantee. Extensive experiments on various graphs well validate the effectiveness of our proposed CoBFormer.

研究の動機と目的

• Graph Transformersにおける過度のグローバル化現象とそれがノード分類に与える影響を明らかにする。
• 注意分布、近隣の有用性、埋め込みの滑らかさを理論的に結びつける。
• intra-クラスタと inter-クラスタ情報をデカップリングし、過度のグローバル化を緩和する二階層グローバルアーキテクチャ（BGA）を提案する。
• GCNとBGAモジュール間の協調トレーニングを導入して一般化を高める。
• 同質・異質グラフを跨いでCoBFormerを実証的に検証し、効率性を分析する。

提案手法

• グラフを METIS を用いてクラスタに分割し、 intra-および inter-クラスタ処理を可能にする。
• クラスタ内のローカル情報を捉えるためにクラスタ内トランスフォーマーを適用する。
• クラスタ間のグローバル情報を捉え、グローバル注意を近似するためにクラスタ間トランスフォーマーを適用する。
• ノード表現と対応するクラスタ表現をフュージョンし、フュージョン層を用いる。
• 局所モジュールとしてGCNを導入し、二つの線形ヘッドを用いた協調トレーニングで両モジュールを監督し相互精錬を行う。

実験結果

リサーチクエスチョン

• RQ1 グローバル注意機構は情報価値の高い（近い）ノードに十分焦点を当てているか、それとも遠いノードを過度に強調しているのか？
• RQ2 過度のグローバル化を避けつつ有用な遠距離情報をどう保持するか？
• RQ3 協調トレーニングと結合した二階層の注意スキームは、同質・異質の多様なグラフタイプにおいて一般化と効率を改善できるか？

主な発見

データセット	Mi-F1 (GCN)	Mi-F1 (GAT)	Mi-F1 (NodeFormer)	Mi-F1 (NAGphormer)	Mi-F1 (SGFormer)	Mi-F1 (CoB-G)	Mi-F1 (CoB-T)	Ma-F1 (GCN)	Ma-F1 (GAT)	Ma-F1 (NodeFormer)	Ma-F1 (NAGphormer)	Ma-F1 (SGFormer)	Ma-F1 (CoB-G)	Ma-F1 (CoB-T)
Cora	81.44 ± 0.78	81.88 ± 0.99	80.30 ± 0.66	79.62 ± 0.25	81.48 ± 0.94	84.96 ± 0.34	85.28 ± 0.16	81.44	83.78	83.82	81.54	83.68	84.96	85.28
CiteSeer	71.84 ± 0.22	72.26 ± 0.97	71.58 ± 1.74	67.46 ± 1.33	71.96 ± 0.13	74.68 ± 0.33	74.52 ± 0.48	69.87	70.44	70.90	69.60	71.20	74.68	74.52

• 実証的・理論的証拠は、標準的なGraph Transformersが遠くのノードを過度に参照し、近くの潜在的に有用なノードを弱めることを示している。
• 受容野を拡大すると埋め込みの非整合性（Z − ÂZ）が増大し、多くの設定でノード分類の性能が劣化する。
• クラスタ内外の注意を用いたBi-Level Global Graph Transformer（CoBFormer）は、過度のグローバル化を抑えつつグローバル情報を保持する。
• GCN（局所）とBGAモジュール（グローバル）間の協調トレーニングは一般化を向上させ、KL発散分解による理論的裏付けを持つ。
• CoBFormerは複数のデータセットで優れた結果を達成し、従来のグローバル注意法と比較してGPUメモリ使用量を大幅に削減する。