[論文レビュー] Directed Acyclic Graph Neural Networks

Veronika Thost, Jie Chen|arXiv (Cornell University)|Jan 20, 2021

Advanced Graph Neural Networks参考文献 34被引用数 33

ひとこと要約

DAGNNは、有向非巡回グラフ（DAG）に特化したニューラルアーキテクチャを導入し、トポロジカル順序でノードを処理し、直接前駆ノードからの注意機構による集約とGRUベースの更新を行うことで、DAG中心のタスクで最先端の性能を達成します。

ABSTRACT

Graph-structured data ubiquitously appears in science and engineering. Graph neural networks (GNNs) are designed to exploit the relational inductive bias exhibited in graphs; they have been shown to outperform other forms of neural networks in scenarios where structure information supplements node features. The most common GNN architecture aggregates information from neighborhoods based on message passing. Its generality has made it broadly applicable. In this paper, we focus on a special, yet widely used, type of graphs -- DAGs -- and inject a stronger inductive bias -- partial ordering -- into the neural network design. We propose the \emph{directed acyclic graph neural network}, DAGNN, an architecture that processes information according to the flow defined by the partial order. DAGNN can be considered a framework that entails earlier works as special cases (e.g., models for trees and models updating node representations recurrently), but we identify several crucial components that prior architectures lack. We perform comprehensive experiments, including ablation studies, on representative DAG datasets (i.e., source code, neural architectures, and probabilistic graphical models) and demonstrate the superiority of DAGNN over simpler DAG architectures as well as general graph architectures.

研究の動機と目的

• DAGの部分順序をグラフニューラルネットワークの強力な帰納的バイアスとして組み込む。
• 現在の層の前駆情報を利用してノード表現を更新するDAG特化のニューラルアーキテクチャを開発する。
• コード、ニューラルアーキテクチャ、および確率モデルからなるDAGデータセット上で経験的改善を示すため、従来のDAGアーキテクチャを共通のフレームワークの下に統合する。

提案手法

• 現在の層の前駆情報を用いて h_v^l を更新する、式(3)–(4)を持つDAG特化のMPNN様フレームワークを定義する。
• 式5と6にあるように、h_v^{l-1} と h_u^l に依存するソフトマックス重みを用いた直接前駆集合 P(v) 上の注意型集約器として G^l を具体化する。
• ノード表現を更新する再帰的結合演算子 F^l（GRU）を用いる（式7）。
• 双方向情報フローを可能にするため、逆DAGを用いて両方向で処理することもできる。
• ターゲットノード間でプーリングし、必要に応じて逆処理によるソースもプールして、層ごとの表現を結合するリードアウトを用いる（式8）。
• メッセージ計算にエッジタイプの埋め込みを拡張してエッジ属性を取り込む（式9）。

実験結果

リサーチクエスチョン

• RQ1 部分順序を活用するDAG対応GNNは、DAG構造データに対して標準のMPNNより表現品質を改善できるか。
• RQ2 アーキテクチャの選択（注意機構 vs ゲーテッドサム、多層の深さ、リードアウト戦略、エッジ属性）はDAGタスクの性能にどのように影響するか。
• RQ3 DAGNNの理論的性質（置換不変性、単射性）は何か、トポロジーバッチ処理と双方向性が効率性にどう影響するか。
• RQ4 DAGNNはソースコード、ニューラルアーキテクチャ、ベイズネットワークなど、多様なDAG領域でどのように性能を発揮するか。

主な発見

モデル	TOK-15 F1	LP-15 Acc	NA RMSE	NA Pearson r	BN RMSE	BN Pearson r	TOK F1	TOK-15 F1	LP Acc	LP-15 Acc
Node2Token	-	-	-	-	-	-	13.04 ± 0.00	-	-	-
TargetInGraph	-	-	-	-	-	-	27.32 ± 0.00	-	-	-
MajorityInValid	-	-	-	-	22.66 ± 0.00	22.66 ± 0.00	-	-	-	-
GCN	-	95.55 ± 0.62	-	-	-	-	31.63 ± 0.18	24.39 ± 0.40	-	-
GCN-VN	-	96.62 ± 0.44	-	-	-	-	32.63 ± 0.13	24.44 ± 0.25	-	-
GIN	-	98.36 ± 0.32	-	-	-	-	31.63 ± 0.20	21.49 ± 0.61	-	-
GIN-VN	-	98.60 ± 0.23	-	-	-	-	32.04 ± 0.18	21.10 ± 0.61	-	-
GAT	-	93.71 ± 0.24	-	-	-	-	33.59 ± 0.32	27.37 ± 0.16	-	-
GG-NN	-	96.48 ± 0.27	-	-	-	-	28.04 ± 0.27	23.15 ± 0.49	-	-
SAGPool	-	72.68 ± 14.29	-	-	-	-	31.88 ± 0.39	24.45 ± 0.77	-	-
ASAP	-	87.84 ± 2.77	-	-	-	-	28.30 ± 0.72	25.06 ± 0.37	-	-
D-VAE	-	99.90 ± 0.02	-	-	-	-	32.64 ± 0.17	27.08 ± 0.39	-	-
DAGNN	-	99.93 ± 0.01	-	-	-	-	34.41 ± 0.38	29.11 ± 0.44	-	-

• DAGNNはOGBG-CODEデータセットのTOKおよびLPタスクで、DAG専用ベースラインおよび一般的なGNNの広範な範囲を上回り、TOK-15で 34.41 対 32.64、LP-15ではほとんどのベースラインより高い性能を示す。
• NAおよびBNの潜在表現タスクで、DAGNNはRMSEとPearson rで最高を示し、D-VAEおよび他のオートエンコーダーベースラインを上回る（NA: RMSE 0.264, r 0.964; BN: RMSE 0.122, r 0.993）。
• アブレーション研究では、注意ベースの集約が重要であること、これをゲーテッドサムに置換したりエッジ属性を削除するとほとんどの設定で性能が低下することを示す。
• TOK-15およびBN/NAデータセットでは、層を2〜3層以上深くしても利得は小さく、場合によっては得られないことが多い。2〜3層が最良を示すことが多い。
• トップロジカル batching は並列性と実行時間効率を大幅に向上させ、最長DAGパス長に等しいほぼ最小の逐次バッチを達成する。
• DAGNNは他のDAGベースラインと比してエポック当たりのトレーニング時間が競争力があり、学習率が高い場合に収束が速いことを示す。