[논문 리뷰] Very Deep Graph Neural Networks Via Noise Regularisation.

Jonathan Godwin, Michael Schaarschmidt외 6명|arXiv (Cornell University)|2021. 06. 15.

Machine Learning in Materials Science참고 문헌 53인용 수 11

한 줄 요약

이 논문은 '노이즈 노드'라고 불리는 새로운 정규화 기법을 통해 최대 100단계의 메시지 전파를 지원하는 딥 그래프 신경망(GNN)을 제안한다. 이 기법은 입력 그래프에 노이즈를 주입하고, 그래프 성질 예측을 위한 노드 오토에코드 손실을 추가한다. 이 방법은 오픈 촉매스트 2020 IS2RE 및 QM9 벤치마크에서 최신 기술 수준의 성능을 달성하며, 적절히 정규화된 깊은 GNN이 깊이가 증가함에 따라 성능이 단조적으로 향상될 수 있음을 보여준다.

ABSTRACT

Graph Neural Networks (GNNs) perform learned message passing over an input graph, but conventional wisdom says performing more than handful of steps makes training difficult and does not yield improved performance. Here we show the contrary. We train a deep GNN with up to 100 message passing steps and achieve several state-of-the-art results on two challenging molecular property prediction benchmarks, Open Catalyst 2020 IS2RE and QM9. Our approach depends crucially on a novel but simple regularisation method, which we call ``Noisy Nodes'', in which we corrupt the input graph with noise and add an auxiliary node autoencoder loss if the task is graph property prediction. Our results show this regularisation method allows the model to monotonically improve in performance with increased message passing steps. Our work opens new opportunities for reaping the benefits of deep neural networks in the space of graph and other structured prediction problems.

연구 동기 및 목표

• 깊은 GNN이 학습 곤란으로 인해 성능 향상이 이루어지지 않는 전통적 제한을 극복하기 위해.
• 몇 개의 레이어를 초과하는 메시지 전파 단계를 늘임으로써 그래프 성질 예측 작업에서 더 나은 성능을 얻을 수 있는지 조사하기 위해.
• 매우 깊은 GNN의 학습을 안정화시키는 정규화 방법을 개발하기 위해.
• 적절히 정규화된 깊은 GNN이 깊이가 증가함에 따라 성능 향상이 단조롭게 이루어질 수 있음을 보여주기 위해.

제안 방법

• 학습 중에 입력 노드 특징에 노이즈를 주입하는 '노이즈 노드' 정규화를 도입한다.
• 노이즈가 주입된 입력에서 원래의 노드 특징을 재구성하기 위해 보조 노드 오토에코드 손실을 적용한다.
• 기존 GNN보다 훨씬 깊은 최대 100단계의 메시지 전파 레이어를 가진 GNN을 학습한다.
• 오토에코드 손실을 깊은 GNN의 정규화 신호로 활용하여 학습 안정성과 일반화 성능 향상을 도모한다.
• 특히 모든 노드에 대해 오토에코드 손실을 계산하는 그래프 성질 예측 작업에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 10단계 이상의 메시지 전파 단계를 가진 GNN이 그래프 성질 예측 작업에서 향상된 성능을 달성할 수 있는가?
• RQ2 노이즈 기반 정규화가 매우 깊은 GNN의 안정적 학습을 가능하게 하는가?
• RQ3 적절히 정규화된 경우 깊은 GNN의 성능이 깊이 증가에 따라 단조롭게 향상되는가?
• RQ4 '노이즈 노드' 방법이 다양한 분자의 그래프 벤치마크에서 효과적인가?

주요 결과

• 제안된 방법은 오픈 촉매스트 2020 IS2RE 벤치마크에서 이전 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.
• QM9 데이터셋에서는 새로운 최신 기술 수준의 결과를 도출하여 예측 정확도 향상을 입증한다.
• 메시지 전파 깊이가 증가함에 따라 성능이 단조롭게 향상되며, 최대 100층까지 성능 향상이 지속됨을 보여주어 안정적인 학습과 일반화를 시사한다.
• '노이즈 노드' 정규화가 깊은 GNN의 효과적인 학습을 가능하게 하고 성능 저하를 방지하는 데 핵심적인 역할을 한다.