[論文レビュー] Graph Neural Networks with Adaptive Readouts

David Buterez, Jon Paul Janet+3 more|arXiv (Cornell University)|Nov 9, 2022

Machine Learning in Materials Science被引用数 25

ひとこと要約

本論文は、グラフニューラルネットワークに対する適応型のニューラルリードアウトを検討し、順序不変性を緩和することで、40以上のデータセットとさまざまな畳み込み演算子に渡って性能が向上することを示す。

ABSTRACT

An effective aggregation of node features into a graph-level representation via readout functions is an essential step in numerous learning tasks involving graph neural networks. Typically, readouts are simple and non-adaptive functions designed such that the resulting hypothesis space is permutation invariant. Prior work on deep sets indicates that such readouts might require complex node embeddings that can be difficult to learn via standard neighborhood aggregation schemes. Motivated by this, we investigate the potential of adaptive readouts given by neural networks that do not necessarily give rise to permutation invariant hypothesis spaces. We argue that in some problems such as binding affinity prediction where molecules are typically presented in a canonical form it might be possible to relax the constraints on permutation invariance of the hypothesis space and learn a more effective model of the affinity by employing an adaptive readout function. Our empirical results demonstrate the effectiveness of neural readouts on more than 40 datasets spanning different domains and graph characteristics. Moreover, we observe a consistent improvement over standard readouts (i.e., sum, max, and mean) relative to the number of neighborhood aggregation iterations and different convolutional operators.

研究の動機と目的

• GNNにおいて、適応的（ニューラル）リードアウトが標準の順列不変リードアウトより有益であるかを動機付け、評価する。
• 順列不変性を緩和することが、グラフタスクの学習とモデル容量にどのように影響するかを検討する。
• 多様なデータセットとグラフ特性に対する性能向上を評価する。
• 近傍集約反復回数と畳み込み演算子の選択に対する適応リードアウトの影響を調査する。

提案手法

• ノード特徴をグラフレベル表現へ適応的に集約するニューラルリードアウトを提案する。
• 適応リードアウトを、伝統的な順列不変リードアウト（和、最大、平均）と比較する。
• 複数のGNNアーキテクチャと多数のデータセットにわたって評価する。
• 近傍集約の深さと畳み込み演算子の関数としての性能を分析する。
• 経験的実験を用いて、適応リードアウトが有益となる条件を特定する。

実験結果

リサーチクエスチョン

• RQ1 順列不変性の制約の下で、適応的ニューラルリードアウトは従来のリードアウトと比較してグラフレベルの表現を改善するか？
• RQ2 どの設定（データセット、グラフの特性）で適応リードアウトが最も大きな利得をもたらすか？
• RQ3 近傍集約反復回数と畳み込み演算子の選択に対して、適応リードアウトの性能はどのように変化するか？
• RQ4 分子やグラフが標準表現を持つ場合、適応リードアウトはより良い学習を可能にするか？
• RQ5 標準ベンチマークを超えたタスクに対する適応リードアウトの一般化挙動はどうなるか？

主な発見

• 適応的なニューラルリードアウトは、標準リードアウト（和、最大、平均）を超える改善を、40以上のデータセットで示す。
• 集約反復回数の異なる数や様々な畳み込み演算子に対して、改善は一貫している。
• 標準表現が一般的な問題で利得が現れることから、緩和された順列制約が学習を助ける可能性が示唆される。
• ニューラルリードアウトは、厳密な順列不変性仮説空間を要求せずに、効果的なモデル容量を示す。
• 経験的結果は多様なグラフ領域をカバーし、適応リードアウトの広範な適用可能性を強調している。