[论文解读] GNN-FiLM: Graph Neural Networks with Feature-wise Linear Modulation

Marc Brockschmidt|arXiv (Cornell University)|Jun 28, 2019

Machine Learning in Materials Science参考文献 21被引用 44

一句话总结

GNN-FiLM 引入特征维度的线性调制到图神经网络，能够实现目标节点条件化、对 incoming messages 的逐元素仿射变换，并在各任务上显示出具有竞争力的性能。

ABSTRACT

This paper presents a new Graph Neural Network (GNN) type using feature-wise linear modulation (FiLM). Many standard GNN variants propagate information along the edges of a graph by computing "messages" based only on the representation of the source of each edge. In GNN-FiLM, the representation of the target node of an edge is additionally used to compute a transformation that can be applied to all incoming messages, allowing feature-wise modulation of the passed information. Results of experiments comparing different GNN architectures on three tasks from the literature are presented, based on re-implementations of baseline methods. Hyperparameters for all methods were found using extensive search, yielding somewhat surprising results: differences between baseline models are smaller than reported in the literature. Nonetheless, GNN-FiLM outperforms baseline methods on a regression task on molecular graphs and performs competitively on other tasks.

研究动机与目标

• 激发并改进 GNN 在消息传递过程中如何整合来自源节点和目标节点的信息。
• 将常见的 GNN 形式推广到多关系图上。
• 在统一框架下提出并评估一种基于 FiLM 的新型 GNN 变体（GNN-FiLM）及相关基线。
• 评估简单基线和广泛超参数调整是否能缩小与最前沿 GNN 的差距。

提出的方法

• 提出 GNN-FiLM，使传入消息通过一个目标节点相关的逐元素仿射变换进行调制。
• 使用超网络 g 从目标节点表示中计算 FiLM 参数（beta 和 gamma）。
• Express the update as h_v^{(t+1)} = sigma(sum_{u->v in E} (gamma_{l,v}^{(t)} ⊙ (W_l h_u^{(t)}) + beta_{l,v}^{(t)})).
• 在统一框架内将 GNN-FiLM 与 RGDCN、R-GCN、R-GIN、GAT 以及一个强基线 GNN-MLP 进行比较。
• 研究一种在聚合前应用非线性变换的变体，以提升计数等任务的性能，并讨论稳定性方面的考虑。
• 展示涵盖小型和大型图的分类、回归和排序等多种任务。

实验结果

研究问题

• RQ1 基于 FiLM 的调制是否在各任务中优于传统消息传递，从而提升性能？
• RQ2 在一致的超参数优化下，GNN-FiLM 与已建立的基线（GNN 变体和 GNN-MLP）相比如何？
• RQ3 在聚合前应用非线性对任务性能和稳定性有何影响？
• RQ4 简单基线（如 GNN-MLP）是否能够在标准 GNN 基准上达到或超过最先进模型？
• RQ5 多关系扩展（RGDCN、RGAT、RGIN）在各任务中如何与 FiLM 调制互动？

主要发现

• 在超参数经过仔细优化时，最先进的 GNN 的性能差距比人们常报道的要小。
• 使用连接源表示和目标表示的简单 GNN-MLP 基线通常优于许多已发表的模型。
• GNN-FiLM 在所测试的任务中与 GNN-MLP 基线具竞争力或甚至超过之。
• GNN-FiLM 在分子图回归任务上取得了更优的性能。
• 在各任务中，若干基线架构之间的差异比先前文献中常见的要小。