[논문 리뷰] On the Bottleneck of Graph Neural Networks and its Practical Implications

Uri Alon, Eran Yahav|arXiv (Cornell University)|2020. 06. 09.

Advanced Graph Neural Networks인용 수 148

한 줄 요약

이 논문은 GNN에서의 과도한 소거(오버스쿼싱) 병목 현상을 소개하고, 그래프 반경이 커질수록 장거리 정보가 효과적으로 전파되지 못함을 보이며, FA(fully-adjacent) 계층으로 병목을 깨면 추가 튜닝 없이도 여러 도메인에서 성능이 크게 향상된다는 것을 입증한다.

ABSTRACT

Since the proposal of the graph neural network (GNN) by Gori et al. (2005) and Scarselli et al. (2008), one of the major problems in training GNNs was their struggle to propagate information between distant nodes in the graph. We propose a new explanation for this problem: GNNs are susceptible to a bottleneck when aggregating messages across a long path. This bottleneck causes the over-squashing of exponentially growing information into fixed-size vectors. As a result, GNNs fail to propagate messages originating from distant nodes and perform poorly when the prediction task depends on long-range interaction. In this paper, we highlight the inherent problem of over-squashing in GNNs: we demonstrate that the bottleneck hinders popular GNNs from fitting long-range signals in the training data; we further show that GNNs that absorb incoming edges equally, such as GCN and GIN, are more susceptible to over-squashing than GAT and GGNN; finally, we show that prior work, which extensively tuned GNN models of long-range problems, suffers from over-squashing, and that breaking the bottleneck improves their state-of-the-art results without any tuning or additional weights. Our code is available at https://github.com/tech-srl/bottleneck/ .

연구 동기 및 목표

• long-range 정보가 필요할 때 그래프 신경망에서 과도한 소거 병목을 동기부여하고 형식화한다.
• 어떤 GNN 아키텍처가 과도한 소거에 더 취약한지(GCN/GIN vs. GAT/GGNN) 특성화한다.
• 간단한 fully-adjacent layer(FA)로 병목을 깨고 벤치마크에서 평가하여 실용적 영향을Demonstrate한다.
• 은닉 크기의 하한을 문제 반경의 함수로 이론적으로 제시하고 경험적으로 검증한다.

제안 방법

• 문제 반경 r과 수용영역 N_v^K를 정의하여 GNN 계층의 정보 흐름을 분석한다.
• 정보 과도한 소거를 정량하기 위한 제어형 합성 벤치마크로 NeighborsMatch를 도입한다.
• GCN, GIN, GGNN, GAT에서 NeighborsMatch를 통해 병목 현상을 실험적으로 시연하고 어떤 집계기가 정보를 더 많이 압축하는지 분석한다.
• 추가 튜닝 없이 최종 GNN 계층을 완전 인접(FA) 계층으로 바꿔 재학습하여 영향력을 평가한다.
• FA 수정을 QM9, NCI1, ENZYMES, VarMisuse 벤치마크에 적용하고 재구현된 베이스라인으로 성능 향상을 보고한다.
• 주어진 문제 반경 r에 대해 은닉 차원 d의 조합적 및 경험적 하한을 제시하여 필요한 용량의 지수적 증가를 보여준다.

실험 결과

연구 질문

• RQ1 GNN의 정보 병목이 합성 장거리 과제에서 장거리 패턴 학습을 방해하는가?
• RQ2 어떤 GNN 아키텍처(GCN, GIN, GGNN, GAT)가 과도한 스쿼싱에 더 취약하며 그 이유는 무엇인가?
• RQ3 단순 FA 계층으로 병목을 깨는 것이 추가 튜닝 없이도 장거리 과제의 성능을 크게 개선하는가?
• RQ4 QM9, ENZYMES, NCI1, VarMisuse 같은 실제 데이터셋에서의 실험 결과가 과도한 소거의 존재와 FA 계층의 효용을 확인하는가?
• RQ5 문제 반경이 커질수록 필요한 은닉 차원에 대한 이론적 한계는 무엇인가?

주요 결과

Property	base †	+ FA	base †	+ FA	base †	+ FA
mu	2.64 ± 0.11	2.54 ± 0.09	2.68 ± 0.06	2.73 ± 0.07	3.85 ± 0.16	3.53 ± 0.13
alpha	4.67 ± 0.52	2.28 ± 0.04	4.65 ± 0.44	2.32 ± 0.16	5.22 ± 0.86	2.72 ± 0.12
HOMO	1.42 ± 0.01	1.26 ± 0.02	1.48 ± 0.03	1.43 ± 0.02	1.67 ± 0.07	1.45 ± 0.04
LUMO	1.50 ± 0.09	1.34 ± 0.04	1.53 ± 0.07	1.41 ± 0.03	1.74 ± 0.06	1.63 ± 0.06
gap	2.27 ± 0.09	1.96 ± 0.04	2.31 ± 0.06	2.08 ± 0.05	2.60 ± 0.06	2.30 ± 0.05
R2	15.63 ± 1.40	12.61 ± 0.37	52.39 ± 42.5	15.76 ± 1.17	35.94 ± 35.7	14.33 ± 0.47
ZPVE	12.93 ± 1.81	5.03 ± 0.36	14.87 ± 2.88	5.98 ± 0.43	17.84 ± 3.61	5.24 ± 0.30
U0	5.88 ± 1.01	2.21 ± 0.12	7.61 ± 0.46	2.19 ± 0.25	8.65 ± 2.46	3.35 ± 1.68
U	18.71 ± 23.36	2.32 ± 0.18	6.86 ± 0.53	2.11 ± 0.10	9.24 ± 2.26	2.49 ± 0.34
H	5.62 ± 0.81	2.26 ± 0.19	7.64 ± 0.92	2.27 ± 0.29	9.35 ± 0.96	2.31 ± 0.15
G	5.38 ± 0.75	2.04 ± 0.24	6.54 ± 0.36	2.07 ± 0.07	7.14 ± 1.15	2.17 ± 0.29
Cv	3.53 ± 0.37	1.86 ± 0.03	4.11 ± 0.27	2.03 ± 0.14	8.86 ± 9.07	2.25 ± 0.20
Omega	1.05 ± 0.11	0.80 ± 0.04	1.48 ± 0.87	0.73 ± 0.04	1.57 ± 0.53	0.87 ± 0.09
Relative	-39.54%		-44.58%		-47.42%

• NeighborsMatch에서 GCN과 GIN은 r=4에서 데이터를 맞추지 못하고 r=5에서 모든 모델이 실패하며 과도한 소거를 시사한다.
• GAT과 GGNN은 주의 기반 및 에지 필터링 메커니즘으로 전체 필드 압축을 완화하여 큰 반경에서 GCN/GIN보다 더 나은 성능을 유지한다.
• 하나의 FA 계층으로 병목을 깨면 QM9에서 여섯 가지 GNN 유형 전체의 평균 오차가 42% 감소하며, 추가 튜닝 없이 ENZYMES, NCI1, VarMisuse 데이터셋에서도 혜택이 나타난다.
• QM9 전반에 걸쳐 마지막 계층을 FA로 교체하면 (예: mu, alpha, HOMO, LUMO, gap 등) 상당한 개선이 나타나며 일부 데이터셋에서 평균 약 12%대의 상대 오차 감소가 관찰된다.
• 생물학적 벤치마크에서 FA 계층은 평균 오차를 낮추며(Enzymes 약 8.1% 감소; NCI1 약 1.5% 감소) ENZYMES와 NCI1에서 전체 평균 약 12%의 개선을 보인다.
• VarMisuse는 FA 계층으로 상태-오브-더-아트의 이득을 보여주며 SeenProjTest는 88.4%, UnseenProjTest는 83.8%로 향상된다.