[논문 리뷰] Graph Neural Networks with Adaptive Readouts

David Buterez, Jon Paul Janet외 3명|arXiv (Cornell University)|2022. 11. 09.

Machine Learning in Materials Science인용 수 25

한 줄 요약

논문은 그래프 신경망의 적응형 신경 읽출을 탐구하여 순열 불변성을 완화하고, 40개 이상 데이터셋 및 다양한 합성 연산자에서 성능 향상을 보인다.

ABSTRACT

An effective aggregation of node features into a graph-level representation via readout functions is an essential step in numerous learning tasks involving graph neural networks. Typically, readouts are simple and non-adaptive functions designed such that the resulting hypothesis space is permutation invariant. Prior work on deep sets indicates that such readouts might require complex node embeddings that can be difficult to learn via standard neighborhood aggregation schemes. Motivated by this, we investigate the potential of adaptive readouts given by neural networks that do not necessarily give rise to permutation invariant hypothesis spaces. We argue that in some problems such as binding affinity prediction where molecules are typically presented in a canonical form it might be possible to relax the constraints on permutation invariance of the hypothesis space and learn a more effective model of the affinity by employing an adaptive readout function. Our empirical results demonstrate the effectiveness of neural readouts on more than 40 datasets spanning different domains and graph characteristics. Moreover, we observe a consistent improvement over standard readouts (i.e., sum, max, and mean) relative to the number of neighborhood aggregation iterations and different convolutional operators.

연구 동기 및 목표

• GNN에서 표준의 순열 불변 읽출에 비해 적응형(신경) 읽출이 이점을 제공할 수 있는지 동기 부여하고 평가한다.
• 그래프 작업에서 순열 불변성의 완화를 통해 학습 및 모델 용량이 어떻게 변화하는지 살펴본다.
• 다양한 데이터셋과 그래프 특성에 걸친 성능 향상을 평가한다.
• 이웃 집계 반복 횟수와 합성 연산자 선택에 대한 적응형 읽출의 영향과 관련성을 조사한다.

제안 방법

• 노드 특징을 그래프 수준 표현으로 적응적으로 집계하는 신경 읽출을 제안한다.
• 전통적인 순열 불변 읽출(합, 최대, 평균)과의 차이를 비교한다.
• 여러 GNN 아키텍처와 방대한 데이터셋을 대상으로 평가한다.
• 이웃 집계 깊이 및 합성 연산자의 함수로서 성능을 분석한다.
• 실증 실험을 통해 언제 적응형 읽출이 이점을 제공하는지 판단한다.

실험 결과

연구 질문

• RQ1 순열 불변 제약 하에서 적응형 신경 읽출이 일반 읽출에 비해 그래프 수준 표현을 향상시키는가?
• RQ2 어떤 설정(데이터셋, 그래프 특성)에서 적응형 읽출이 가장 큰 이득을 주는가?
• RQ3 이웃 집계 반복 횟수와 합성 연산자 선택에 따라 적응형 읽출의 성능은 어떻게 달라지는가?
• RQ4 분자나 그래프에 표준화된 표현이 있을 때 적응형 읽출이 더 나은 학습을 가능하게 할 수 있는가?
• RQ5 표준 벤치마크를 넘어선 과제에서의 적응형 읽출의 일반화 특성은 어떠한가?

주요 결과

• 적응형 신경 읽출은 40개가 넘는 데이터셋에서 표준 읽출(합, 최대, 평균) 대비 향상을 제공합니다.
• 집계 반복 횟수와 다양한 합성 연산자에서도 개선이 일관적입니다.
• 표준화된 표현이 흔한 문제에서 이점이 나타나며, 완화된 순열 제약이 학습에 도움이 될 수 있음을 시사합니다.
• 신경 읽출은 엄밀한 순열 불변 가설 공간을 요구하지 않고도 효과적인 모델 용량을 보여줍니다.
• 실증 결과는 다양한 그래프 도메인을 다루며, 적응형 읽출의 광범위한 적용 가능성을 강조합니다.