[論文レビュー] Modeling Attention Flow on Graphs

Xiaoran Xu, Songpeng Zu+3 more|arXiv (Cornell University)|Nov 1, 2018

Advanced Graph Neural Networks参考文献 34被引用数 6

ひとこと要約

本稿では、グラフ上の推論プロセスを明示的に追跡することで、時間経過に伴う注目度の変化をモデル化する注目度フロー機構を提案する。グラフネットワークのメッセージパッシングと統合することで、予測精度と解釈可能性の両方を向上させる。この手法は、標準的なグラフネットワークやランダムウォークベースラインを上回り、特に非線形変換を介してメッセージパッシングと逆方向に作用する注目度フローが効果を発揮する。

ABSTRACT

Real-world scenarios demand reasoning about process, more than final outcome prediction, to discover latent causal chains and better understand complex systems. It requires the learning algorithms to offer both accurate predictions and clear interpretations. We design a set of trajectory reasoning tasks on graphs with only the source and the destination observed. We present the attention flow mechanism to explicitly model the reasoning process, leveraging the relational inductive biases by basing our models on graph networks. We study the way attention flow can effectively act on the underlying information flow implemented by message passing. Experiments demonstrate that the attention flow driven by and interacting with graph networks can provide higher accuracy in prediction and better interpretation for trajectory reasoning.

研究の動機と目的

• 最終的な出力を超えて、明示的な解釈可能性を備えたグラフ上の推論プロセスをモデル化する手法を開発すること。
• 注目度メカニズムをグラフネットワークのメッセージパッシングと統合し、動的でプロセスベースの推論をモデル化すること。
• 逆方向に作用する注目度がメッセージパッシングをどのように改善し、モデル性能を向上させるかを調査すること。
• 出発点と到着点のノードのみが観測可能な状況で、トラジェクトリーレイソンタスクに対してアプローチを評価すること。
• グラフ構造データにおける推論経路を明確に可視化可能な解釈を提供すること。

提案手法

• 注目度フロー機構は、時間経過に伴い変化する注目度ステップの系列として推論をモデル化し、グラフネットワークのメッセージパッシングから導出される。
• 時間的に変化する遷移行列は、潜在的な方向関数から学習され、グラフノード間での注目度フローをガイドする。
• 注目度フローは、学習された注目度重みを用いて乗算と非線形変換を施すことにより、メッセージパッシングに対して逆方向に作用する。
• モデルはグラフ近傍におけるマルチヘッド注目度メカニズムを用い、時間ステップに跨る正規化と集約が行われる。
• 欠損エッジやノードを含む破損したグリッドワールド環境において、トラジェクトリーレイソンタスクでエンドツーエンドに訓練される。
• 逆方向作用機構は3つのバリエーションで評価される：作用なし、乗算のみ、乗算後に非線形変換を実行する。

実験結果

リサーチクエスチョン

• RQ1 ランダムウォークベースラインと比較して、明示的な注目度フローのモデル化が、グラフ構造データにおける推論性能を向上させるか？
• RQ2 注目度フローのメッセージパッシングへの逆方向作用が、モデルの精度と解釈可能性を向上させるか？
• RQ3 乗算、非線形変換、またはその組み合わせのうち、どのメカニズムが最も優れた性能を発揮するか？
• RQ4 学習された注目度フローが、グラフ環境における真の潜在的因果的経路とどれほど視覚的に一致するか？
• RQ5 定数、時間依存、位置依存、履歴依存の異なる種類の動的方向関数に対して、モデルは一般化できるか？

主な発見

• FullGN-MulMlpモデルは、SINE-SZ32-STP16-NDRP-STDデータセットでH@1が16.25%、MRRが0.3493を達成し、ベースラインのGATおよびGGNNモデルを上回った。
• ノイズ0.2の64×64グリッドワールドデータセットにおいて、GGNN-MulMlpはLOCATIONタスクでH@1が44.01%、MRRが0.6286を達成し、標準GGNN（22.59% H@1）を著しく上回った。
• 乗算後に非線形変換を実行する（MulMlp）機構は、作用なしや単純な乗算よりも一貫して優れた性能を示し、逆方向作用における有効性を示した。
• 可視化では、学習された注目度フローが出発点から到着点へと一貫したベルト状の経路を形成し、特に定数および時間依存の方向関数の場合、真の経路とよく一致した。
• 注目度フローは、ギャップ付近の領域を探索するためにしばしば分岐する傾向があり、不完全なグラフ構造における適応的探索行動を示唆した。
• 明示的な注目度フローを備えたモデルは、特に複雑でノイズの多い環境において、標準的なグラフネットワークよりも高い精度とより優れた解釈可能性を達成した。