[論文レビュー] DAGCN: Dual Attention Graph Convolutional Networks

Fengwen Chen, Shirui Pan+3 more|arXiv (Cornell University)|Apr 4, 2019

Advanced Graph Neural Networks参考文献 44被引用数 7

ひとこと要約

DAGCNは、階層的な近隣特徴を捉えるための注目グラフ畳み込み層と、自己注意プーリング層によるグラフレベルの表現の最適化を通じて、グラフ分類の性能を向上させる二重注目メカニズムを提案する。このモデルは、NCI1、ENZYMES、NCI109といったベンチマークデータセットにおいて、最先端の手法よりも優れた正確性と高速な収束を達成している。

ABSTRACT

Graph convolutional networks (GCNs) have recently become one of the most powerful tools for graph analytics tasks in numerous applications, ranging from social networks and natural language processing to bioinformatics and chemoinformatics, thanks to their ability to capture the complex relationships between concepts. At present, the vast majority of GCNs use a neighborhood aggregation framework to learn a continuous and compact vector, then performing a pooling operation to generalize graph embedding for the classification task. These approaches have two disadvantages in the graph classification task: (1)when only the largest sub-graph structure ($k$-hop neighbor) is used for neighborhood aggregation, a large amount of early-stage information is lost during the graph convolution step; (2) simple average/sum pooling or max pooling utilized, which loses the characteristics of each node and the topology between nodes. In this paper, we propose a novel framework called, dual attention graph convolutional networks (DAGCN) to address these problems. DAGCN automatically learns the importance of neighbors at different hops using a novel attention graph convolution layer, and then employs a second attention component, a self-attention pooling layer, to generalize the graph representation from the various aspects of a matrix graph embedding. The dual attention network is trained in an end-to-end manner for the graph classification task. We compare our model with state-of-the-art graph kernels and other deep learning methods. The experimental results show that our framework not only outperforms other baselines but also achieves a better rate of convergence.

研究の動機と目的

• 集約に最大kホップ部分グラフに依存する従来のGCNが、初期段階の近隣情報損失を解消すること。
• 平均、合計、最大値などの単純なプール操作がノード固有情報やトポロジー情報を損なうという制限を克服すること。
• 注目メカニズムを用いて、ノードレベルの表現とグラフレベルの埋め込みを同時に学習可能なエンドツーエンドで訓練可能なフレームワークを開発すること。
• グラフ内の局所的およびグローバルな構造的パターンをモデル化することで、一般化性能と表現品質を向上させること。

提案手法

• 異なるホップ距離の近隣に学習可能な注目重みを割り当てることで、階層的特徴学習を可能にする注目グラフ畳み込み（AGC）層を導入する。
• ノード埋め込み間の注目係数を計算することで、固定サイズかつ包括的なグラフ表現行列を生成する自己注意プール層を採用する。
• 深層アーキテクチャにおける学習の安定化と勾配の流れの改善を図るため、残差学習構造を用いる。
• バックプロパゲーションを用いて、グラフ分類のためのDAGCNフレームワーク全体をエンドツーエンドで訓練する。
• プール層でマルチヘッド注目を適用し、グラフ埋め込み行列の多様な側面を捉える。
• 最終的な分類予測のため、最終のグラフ埋め込み行列に全結合層を適用する。

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムは、グラフ畳み込みネットワークにおける階層的近隣構造の表現を向上させることができるか？
• RQ2 自己注意プールが、従来のプール手法よりもノードレベルおよびトポロジー情報の保持に優れているか？
• RQ3 二重注目メカニズムのエンドツーエンド訓練は、既存のGCNおよびグラフカーネル手法よりも高速な収束とより優れた一般化性能をもたらすか？
• RQ4 標準的なグラフ分類ベンチマークにおいて、DAGCNはDGCNNやグラフカーネルといった最先端モデルと比較してどのように性能を発揮するか？
• RQ5 二重注目メカニズムは、異種グラフデータセットにおけるモデルの解釈可能性と特徴学習をどの程度向上させるか？

主な発見

• DAGCNは、NCI1、ENZYMES、NCI109データセットにおいて、グラフカーネル手法およびディープラーニングベースラインよりも高い分類正確性を達成している。
• 同じイテレーション数（200）と学習率で学習させた場合でも、DGCNNよりも収束速度が速い。
• 二重注目メカニズムは、局所的サブ構造とグローバルトポロジー情報を効果的に保持し、グラフ畳み込み中の情報損失を低減している。
• DAGCNのエンドツーエンド訓練により、特徴抽出と表現学習の共同最適化が可能となり、固定で手作業で作成された特徴を用いる手法を上回っている。
• DAGCNは、データセットサイズおよびグラフサイズに対して線形の計算複雑度を示すのに対し、グラフカーネルは二次的および指数的に増加する複雑度を示す。
• 自己注意プール層は、顕著なノードやサブグラフに注目することで、コンactかつ情報豊富なグラフ埋め込み行列を効果的に生成し、モデル性能を向上させている。