[논문 리뷰] Simple GNN Regularisation for 3D Molecular Property Prediction & Beyond

Jonathan Godwin, Michael Schaarschmidt외 6명|arXiv (Cornell University)|2021. 06. 15.

Machine Learning in Materials Science인용 수 8

한 줄 요약

이 논문은 입력 그래프 특징에 노이즈를 더하고 각 노드별 복원 손실을 추가함으로써 과도한 스무딩을 방지하는 간단하면서도 효과적인 GNN 정규화 기법인 Noisy Nodes를 소개한다. 이 방법은 잠재적 노드 다양성과 다양체 학습을 향상시켜 3D 분자의 성질 예측 벤치마크에서 최고 성능을 기록하며, OC20 IS2RE 직접 예측에서 이전 작업 대비 43% 향상된 성능을 달성했고, OGB 및 GCN 기반 모델 전반에서 성능 향상을 이끌어냈다.

ABSTRACT

In this paper we show that simple noise regularisation can be an effective way to address GNN oversmoothing. First we argue that regularisers addressing oversmoothing should both penalise node latent similarity and encourage meaningful node representations. From this observation we derive "Noisy Nodes", a simple technique in which we corrupt the input graph with noise, and add a noise correcting node-level loss. The diverse node level loss encourages latent node diversity, and the denoising objective encourages graph manifold learning. Our regulariser applies well-studied methods in simple, straightforward ways which allow even generic architectures to overcome oversmoothing and achieve state of the art results on quantum chemistry tasks, and improve results significantly on Open Graph Benchmark (OGB) datasets. Our results suggest Noisy Nodes can serve as a complementary building block in the GNN toolkit.

연구 동기 및 목표

• 다수의 메시지 전달 레이어를 거친 후 노드 표현이 구분되지 않게 되는 GNN의 과도한 스무딩 문제를 해결하기 위해.
• 노드 표현의 다양성과 의미 있는 상관관계 구조 인코딩을 동시에 장려하는 정규화 기법을 개발하기 위해.
• 간단하고 일반적인 GNN 아키텍처가 Noisy Nodes와 결합될 경우 최고 성능을 달성할 수 있음을 보여주기 위해.
• 다양한 GNN 아키텍처와 그래프 학습 작업에 적용 가능한 보완적이고 즉시 사용 가능한 정규화 방법을 제공하기 위해.

제안 방법

• 학습 중에 랜덤 노이즈를 입력 노드 특징에 더하여 과도하게 스무딩된 표현을 방해하기 위해.
• 노이즈가 더해진 입력에서 원래 특징을 재구성하도록 장려하는 각 노드별 복원 손실을 도입하기 위해.
• 주 예측 손실과 보조 복원 손실을 조합한 손실 함수로 GNN을 훈련하여 강건하고 다양한 노드 표현을 촉진하기 위해.
• 3D 분자 및 비공간 그래프 데이터셋에서 다양한 GNN 아키텍처(예: 그래프 네트워크 시뮬레이터(GNS), MPNN, GCN)에 이 방법을 적용하기 위해.
• 범주형 특징의 무작위 뒤집기 및 특징 드롭아웃과 같은 노이즈 유형을 사용하고, 주 손실과 보조 손실 간 최적의 균형을 확보하기 위해 하이퍼파ram터 튜닝을 수행하기 위해.
• 복원 목적을 활용하여 데이터의 기저 다각체를 암묵적으로 학습함으로써 일반화 능력 향상과 과도한 스무딩에 대한 저항력 향상을 도모하기 위해.

실험 결과

연구 질문

• RQ1 간단한 노이즈 기반 정규화 기법이 다양한 아키텍처와 데이터셋에서 GNN의 과도한 스무딩을 효과적으로 완화할 수 있는가?
• RQ2 노이즈 혼합과 복원 손실의 조합이 노드 표현의 다양성과 그래프 수준의 예측 성능 향상에 기여하는가?
• RQ3 Noisy Nodes는 이전에 경쟁력이 없었던 얕은 또는 성능이 열악한 GNN 아키텍처(예: GNS 아키텍처)가 3D 분자 성질 예측 과제에서 최고 성능을 달성하도록 할 수 있는가?
• RQ4 DropEdge 및 DropNode와 같은 기존 정규화 방법과 비교해 Noisy Nodes는 과도한 스무딩 문제를 어떻게 더 효과적으로 해결하는가?
• RQ5 Noisy Nodes의 이점은 모델 깊이에 따라 비례하는가? 그리고 깊은 GNN 아키텍처에서 이전에 효과적이지 않았던 과제에서 더 깊은 모델이 더 나은 성능을 낼 수 있는가?

주요 결과

• Noisy Nodes는 OC20 IS2RE 직접 예측 분자 성질 예측 벤치마크에서 이전 작업 대비 43% 향상된 성능을 기록했다.
• OGBG-PCQM4Mv1에서 MPNN 성능은 28.1% ± 0.002 평균 평균 정밀도로 향상되어 기준 모델을 초월했다.
• OGBN-Arxiv에서 4층 GCN에 Noisy Nodes를 적용하면 정확도가 71.71%에서 72.52%로 상승하여 단순한 GNN에서도 효과가 있음을 입증했다.
• 이 기법 덕분에 이전에는 경쟁력이 없었던 GNS 아키텍처가 QM9와 OC20 포함 3개의 3D 분자 과제에서 최고 성능을 기록했다.
• 검증 곡선을 통해 훈련 전반에 걸쳐 일관된 성능 향상이 관찰되어 안정적이고 효과적인 정규화임을 확인했다.
• 모델 깊이에 관계없이 이 기법이 효과적이며, 매우 깊은 아키텍처에서는 수익 감소 현상이 나타나 깊이와 정규화 간 균형이 핵심임을 시사한다.