[論文レビュー] GNN-FiLM: Graph Neural Networks with Feature-wise Linear Modulation

Marc Brockschmidt|arXiv (Cornell University)|Jun 28, 2019

Machine Learning in Materials Science参考文献 21被引用数 44

ひとこと要約

GNN-FiLMはグラフニューラルネットワークに特徴ごとの線形変調を導入し、受信メッセージをターゲットノードに依存した要素ごとのアフィン変換で変換でき、タスク全体で競争力のある性能を示す。

ABSTRACT

This paper presents a new Graph Neural Network (GNN) type using feature-wise linear modulation (FiLM). Many standard GNN variants propagate information along the edges of a graph by computing "messages" based only on the representation of the source of each edge. In GNN-FiLM, the representation of the target node of an edge is additionally used to compute a transformation that can be applied to all incoming messages, allowing feature-wise modulation of the passed information. Results of experiments comparing different GNN architectures on three tasks from the literature are presented, based on re-implementations of baseline methods. Hyperparameters for all methods were found using extensive search, yielding somewhat surprising results: differences between baseline models are smaller than reported in the literature. Nonetheless, GNN-FiLM outperforms baseline methods on a regression task on molecular graphs and performs competitively on other tasks.

研究の動機と目的

• メッセージ伝搬中にGNNがソースノードとターゲットノードからの情報を統合する方法を動機づけ、改善する。
• 多関係グラフへ一般化する。
• 新しいFiLMベースのGNN変種（GNN-FiLM）と関連ベースラインを統一フレームワークの下で提案・評価する。
• 単純なベースラインと広範なハイパーパラメータ調整が最先端GNNとのギャップを狭めるかを評価する。

提案手法

• ターゲットノード依存の要素ごとのアフィン変換で受信メッセージを変調するGNN-FiLMを提案する。
• ターゲットノード表現からFiLMパラメータ（betaとgamma）を算出するハイパーネットワークgを用いる。
• Express the update as h_v^{(t+1)} = sigma(sum_{u->v in E} (gamma_{l,v}^{(t)} ⊙ (W_l h_u^{(t)}) + beta_{l,v}^{(t)})).
• 統一フレームワーク内でGNN-FiLMをRGDCN、R-GCN、R-GIN、GAT、および強力なGNN-MLPベースラインと比較する。
• 非線形性を集約前に適用するバリアントを調査し、カウントなどのタスクの性能向上と安定性の考慮を議論する。
• 小規模および大規模グラフで分類、回帰、ランキングを含む一連のタスクを示す。

実験結果

リサーチクエスチョン

• RQ1 FiLMベースの変調はタスクを横断して従来のメッセージ伝搬より性能を向上させるか。
• RQ2 一貫したハイパーパラメータ最適化の下で、GNN-FiLMは確立されたベースライン（GNN系変種およびGNN-MLP）とどのように比較されるか。
• RQ3 集約前に非線形を適用することがタスク性能と安定性に与える影響は何か。
• RQ4 単純なベースライン（例: GNN-MLP）が標準的なGNNベンチマークで最先端モデルに匹敵するか、またはそれを上回るか。
• RQ5 多関係拡張（RGDCN、RGAT、RGIN）はタスクを横断してFiLM変調とどのように相互作用するか。

主な発見

• ハイパーパラメータを慎重に最適化すると、最先端のGNNはしばしば報告されるほど性能ギャップが大きくない。
• ソースとターゲット表現を結合した単純なGNN-MLPベースラインは、多くの公開モデルを上回すことがある。
• GNN-FiLMはテストタスク全般でGNN-MLPベースラインと競合、またはそれを上回る。
• GNN-FiLMは分子グラフ回帰タスクで優れた性能を達成する。
• タスクを横断して、いくつかのベースラインアーキテクチャ間の差は過去の文献で一般的に主張されているほど大きくない。