[論文レビュー] Exploiting Edge Features in Graph Neural Networks

Liyu Gong, Qiang Cheng|arXiv (Cornell University)|Sep 7, 2018

Machine Learning in Materials Science被引用数 10

ひとこと要約

本稿では、二重確率的正規化、層間での適応的エッジ特徴量更新、一般化されたアテンション機構を通じて多次元エッジ特徴量を活用することで、グラフ学習を向上させるエッジ強化型グラフニューラルネットワーク（EGNN）を提案する。この手法は、ノード分類および分子性質予測においてGCNやGATを上回り、Tox21ではAUCが0.2以上、FreesolvではRMSEが0.3向上する。

ABSTRACT

Edge features contain important information about graphs. However, current state-of-the-art neural network models designed for graph learning, e.g. graph convolutional networks (GCN) and graph attention networks (GAT), adequately utilize edge features, especially multi-dimensional edge features. In this paper, we build a new framework for a family of new graph neural network models that can more sufficiently exploit edge features, including those of undirected or multi-dimensional edges. The proposed framework can consolidate current graph neural network models; e.g. graph convolutional networks (GCN) and graph attention networks (GAT). The proposed framework and new models have the following novelties: First, we propose to use doubly stochastic normalization of graph edge features instead of the commonly used row or symmetric normalization approches used in current graph neural networks. Second, we construct new formulas for the operations in each individual layer so that they can handle multi-dimensional edge features. Third, for the proposed new framework, edge features are adaptive across network layers. As a result, our proposed new framework and new models can exploit a rich source of graph information. We apply our new models to graph node classification on several citation networks, whole graph classification, and regression on several molecular datasets. Compared with the current state-of-the-art methods, i.e. GCNs and GAT, our models obtain better performance, which testify to the importance of exploiting edge features in graph neural networks.

研究の動機と目的

• 最新のGNN（GCN や GAT など）において、多次元エッジ特徴量が十分に活用されていない問題に対処すること。
• 初期の隣接行列を固定したままではなく、ネットワークの各層でエッジ特徴量を適応的に変更することで、グラフ表現学習を向上させること。
• GCN や GAT を拡張し、豊富な多次元エッジ特徴量を扱える統一的なフレームワークを構築すること。
• 有向エッジ用の新しいエッジ特徴量設計を導入することで、有向グラフの効果的なモデリングを可能にすること。
• ノード分類およびグラフレベルの回帰／分類タスクにおいて、提案フレームワークの優位性を実証的に検証すること。

提案手法

• GCN や GAT で用いられる行正規化または対称正規化に代えて、エッジ特徴量の二重確率的正規化を導入する。
• 多次元エッジ特徴量をアテンション重み計算に組み込む一般化されたアテンション機構を提案する。
• 各層でエッジ特徴量を動的に更新する学習可能なエッジ特徴量更新メカニズムを設計し、エッジ表現の動的最適化を可能にする。
• グラフ畳み込み演算において多次元エッジ特徴量をサポートする新しいメッセージパッシング式を開発する。
• 訓練にELUを活性化関数として採用し、L2正則化を適用したAdam最適化手法を用いる。
• 有向エッジのためのエッジ特徴量を、方向情報を保持するための対称的変換を用いて構築する。

実験結果

リサーチクエスチョン

• RQ1 二値または一次元エッジ特徴量と比較して、多次元エッジ特徴量を活用することで、GNNの性能が顕著に向上するか？
• RQ2 エッジ特徴量を層間で適応的に学習することで、固定されたエッジ特徴量よりも優れた表現学習が達成できるか？
• RQ3 モデルの安定性および性能の観点から、二重確率的正規化は行正規化や対称正規化と比較して優れているか？
• RQ4 提案フレームワークは、豊富なエッジ属性を持つ無向および有向グラフの両方を効果的に処理できるか？
• RQ5 エッジ特徴量を組み込むことで、ノードレベルおよびグラフレベルの予測タスクにおける性能向上はどの程度達成できるか？

主な発見

• Tox21データセットにおいて、EGNN(C) および EGNN(A) は、マルチラベル分類タスクでWeaveベースラインと比較して平均AUCが0.2以上向上した。
• Lipophilicityデータセットでは、回帰タスクにおいてEGNNモデルがWeaveモデルと比較してRMSEを約0.1削減した。
• Freesolvデータセットでは、回帰タスクにおいてEGNNモデルがWeaveベースラインと比較してRMSEを約0.3改善した。
• EGNN(C) および EGNN(A) の性能は、3つの分子データセットすべてでほぼ同一であり、アーキテクチャの変化に対して高いロバスト性を示した。
• アブレーションスタディの結果、二重確率的正規化、適応的エッジ特徴量、多次元アテンションの各要素が全体の性能向上に顕著な寄与をしていることが確認された。
• 提案フレームワークは、すべてのベンチマークデータセットでGCN や GAT を一貫して上回り、一般化能力と有効性を示した。