[论文解读] Molecule Property Prediction and Classification with Graph Hypernetworks

Eliya Nachmani, Lior Wolf|arXiv (Cornell University)|Feb 1, 2020

Machine Learning in Materials Science参考文献 57被引用 8

一句话总结

该论文提出了一种基于超网络的稳定框架，用于分子性质预测与分类，通过使用结合当前消息与初始消息的超网络动态调整消息传递网络的权重。该方法在多个基准测试中实现了最先进性能，包括QM9、PROTEINS和PTC，既提升了专用GNN（NMP-Edge）也提升了通用GNN（IGN、GIN）的性能，同时在纠错码任务中稳定了训练过程，优于以往的超网络方法，且无需依赖领域特定的近似方法。

ABSTRACT

Graph neural networks are currently leading the performance charts in learning-based molecule property prediction and classification. Computational chemistry has, therefore, become the a prominent testbed for generic graph neural networks, as well as for specialized message passing methods. In this work, we demonstrate that the replacement of the underlying networks with hypernetworks leads to a boost in performance, obtaining state of the art results in various benchmarks. A major difficulty in the application of hypernetworks is their lack of stability. We tackle this by combining the current message and the first message. A recent work has tackled the training instability of hypernetworks in the context of error correcting codes, by replacing the activation function of the message passing network with a low-order Taylor approximation of it. We demonstrate that our generic solution can replace this domain-specific solution.

研究动机与目标

• 通过动态生成消息传递网络权重的超网络，提升分子性质预测与分类性能。
• 通过引入稳定化的输入机制，解决超网络在图学习中固有的训练不稳定性问题。
• 证明所提出的稳定化方法可泛化至多种GNN架构与任务，包括回归与分类任务。
• 通过在纠错码任务上的应用，验证该方法在分子数据之外的有效性，此前该领域需依赖领域特定的修复方案。
• 通过通用且与架构无关的输入修改，取代超网络训练中对泰勒近似的需求。

提出的方法

• 超网络采用复合架构，其中一个网络（f）生成另一个网络（g）的权重，后者在图中执行消息传递。
• 为稳定训练，超网络的输入为当前消息与初始消息（h₀ᵥ）的线性组合，而非仅当前消息。
• 该输入修改方法可统一应用于多种GNN架构，包括NMP-Edge、IGN和GIN，无需重新训练架构。
• 该方法采用阻尼因子c，以平衡初始消息与当前消息在隐藏状态更新中的影响。
• 该方法在回归任务（QM9）与分类任务（NCI1、MUTAG、PTC、PROTEINS）中均表现出一致的性能提升。
• 该方法还在线性分块码上进行了评估，成功稳定了训练过程，并在无需依赖先前工作中使用的泰勒近似的情况下，提升了BER-SNR性能。

实验结果

研究问题

• RQ1 能否在不依赖领域特定修改的前提下，稳定超网络在图神经网络中的训练过程，以实现分子性质预测？
• RQ2 将当前消息与初始消息结合，是否能提升基于超网络的GNN的泛化能力与训练稳定性？
• RQ3 该稳定机制是否可取代超网络训练中对泰勒近似的依赖，如先前在纠错码研究中所展示？
• RQ4 该通用输入修改在多种GNN架构（包括专用模型NMP-Edge与通用模型IGN、GIN）中，能在多大程度上提升性能？
• RQ5 该方法是否可泛化至分子数据之外，在其他消息传递任务（如线性分块码的译码）中提升性能？

主要发现

• 在使用NMP-Edge架构时，该方法在QM9的12项回归任务中有9项达到最先进性能，仅有一项参数略逊于原始模型。
• 在OQMD基准上使用NMP-Edge时，该方法实现了最先进结果，证实其在大规模分子性质预测任务中的有效性。
• 对于IGN模型，该方法在训练单一模型以预测QM9全部属性时，12项指标均优于原始IGN模型。
• 在图分类任务中，经修改的IGN与GIN模型在所有数据集上均优于基线模型，仅在一处持平，且在PTC与PROTEINS数据集上表现显著提升。
• 在纠错码任务中，该方法在所有测试码型中均将BER-SNR提升0.09–0.12 dB，即使未使用先前工作中依赖的泰勒近似。
• 消融实验表明，若移除初始消息或超网络组件，性能将一致下降，验证了两个组件的必要性。