[논문 리뷰] Improving Graph Neural Networks with Learnable Propagation Operators

Moshe Eliasof, Lars Ruthotto외 1명|arXiv (Cornell University)|2022. 10. 31.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 채널별로 학습 가능한 가중치 ω를 도입하여 스무딩과 샤프닝 전파 연산자를 혼합하는 가중치를 갖는 학습 가능한 전파 연산자 프레임워크인 ω GNN을 제안한다. 혼합 부호 연산자와 채널별 학습을 통해 over-smoothing를 방지하고 표현력을 향상시켜, 15개의 실세계 데이터셋에서 노드 분류 및 그래프 분류 과제에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) are limited in their propagation operators. In many cases, these operators often contain non-negative elements only and are shared across channels, limiting the expressiveness of GNNs. Moreover, some GNNs suffer from over-smoothing, limiting their depth. On the other hand, Convolutional Neural Networks (CNNs) can learn diverse propagation filters, and phenomena like over-smoothing are typically not apparent in CNNs. In this paper, we bridge these gaps by incorporating trainable channel-wise weighting factors $ω$ to learn and mix multiple smoothing and sharpening propagation operators at each layer. Our generic method is called $ω$GNN, and is easy to implement. We study two variants: $ω$GCN and $ω$GAT. For $ω$GCN, we theoretically analyse its behaviour and the impact of $ω$ on the obtained node features. Our experiments confirm these findings, demonstrating and explaining how both variants do not over-smooth. Additionally, we experiment with 15 real-world datasets on node- and graph-classification tasks, where our $ω$GCN and $ω$GAT perform on par with state-of-the-art methods.

연구 동기 및 목표

• 고정된 비음수 전파 연산자를 사용하는 표준 GNN의 한계를 해결하기 위해, 이는 over-smoothing와 표현력 저하를 유도한다.
• CNN의 깊이 분리형 컨볼루션과 유사한 다양하고 학습 가능한 전파 필터를 가능하게 하여 GNN과 CNN 사이의 격차를 메운다.
• 학습 가능한 가중치 ω를 통해 스무딩과 샤프닝 연산자를 혼합할 수 있도록 하여 깊은 GNN에서의 over-smoothing 문제를 해결한다.
• 학습 가능한 채널별 가중치 요소를 도입하여 전파 연산자의 혼합을 탄력적으로 가능하게 하여 GNN의 표현력을 향상시킨다.
• 두 변종인 ω GCN와 ω GAT을 사용하여 다양한 실세계 데이터셋에서 ω GNN의 효과성을 입증한다.

제안 방법

• 각 레이어에서 다수의 전파 연산자의 기여도를 제어하기 위해 학습 가능한 가중치 요소 ω를 도입하여 스무딩과 샤프닝 효과의 동적 혼합을 가능하게 한다.
• 표준 GNN 레이어의 일반화로 ω GNN을 수식 f^{(l+1)} = σ(S^{(l)} f^{(l)} K^{(l)}) 로 정의하며, 여기서 S^{(l)}는 기본 연산자의 채널별로 학습 가능한 가중 조합으로 대체된다.
• 두 가지 변종을 구현한다: 기저 연산자로 대칭 정규화된 인접 행렬을 사용하는 ω GCN와 다중 헤드 어텐션을 기저 연산자로 사용하는 ω GAT.
• 각 채널과 레이어마다 학습 가능한 가중치 ω^{(l)}를 갖는 1×1 컨볼루션을 적용하여 다양한 전파 연산자의 기여도를 혼합하며, 깊이 분리형 컨볼루션을 모방한다.
• 표준 backpropagation를 사용해 네트워크를 엔드 투 엔드로 훈련시키며, ω가 각 레이어와 채널에 대해 최적의 연산자 혼합을 적응적으로 학습할 수 있도록 한다.
• 이론적 분석을 통해 ω가 깊이에 비례하여 1/L로 스케일링됨을 보여주며, 이는 레이어 간 특징 다양성을 유지하고 over-smoothing를 방지한다.

실험 결과

연구 질문

• RQ1 학습 가능한 채널별 가중치 요소 ω는 혼합 부호 전파 연산자를 가능하게 하여 깊은 GNN에서의 over-smoothing를 방지할 수 있는가?
• RQ2 고정된 비음수 전파 연산자에 비해 학습 가능한 ω의 도입이 GNN의 표현력에 얼마나 기여하는가?
• RQ3 다양한 노드 분류 및 그래프 분류 벤치마크에서 ω GNN의 성능은 최신 기술 GNN과 비교해 어떻게 되는가?
• RQ4 ω의 스케일링 행동(예: ω ∝ 1/L)은 이론적 예측과 일치하며 깊은 아키텍처에서 안정적인 훈련에 기여하는가?
• RQ5 GCN와 GAT과 같은 다양한 GNN 아키텍처에 대해 ω GNN은 성능과 강건성을 유지하면서 일반화 가능한가?

주요 결과

• ω GCN와 ω GAT 등의 ω GNN 변종은 TUDatasets에서 PTC의 95.2% 정확도와 MUTAG의 94.6% 정확도를 기록하며 15개의 실세계 데이터셋에서 최신 기술 성능을 달성한다.
• 제거 실험을 통해 ω GNN이 over-smoothing를 방지함을 확인: 표준 GNN과 달리 레이어 수가 증가해도 정확도가 안정되거나 향상된다.
• 평균 ω 값이 레이어 간 1/L 비율로 스케일링됨을 확인하여 이론적 예측(깊이 증가에 따라 ω 감소로 특징 다양성 유지)을 검증한다.
• 64층의 Cora에서 ω GCN가 85.9%의 정확도를 기록하여 깊이에 대한 강건성을 입증하였으며, 표준 GNN은 일반적으로 8~16층을 초과하면 over-smoothing를 경험한다.
• 학습된 ω 값은 스무딩과 샤프닝 연산자를 모두 혼합할 수 있도록 하며, 시각화와 이론적 분석을 통해 비음수 연산자로는 달성할 수 없는 특징 표현을 향상시킴을 보여준다.
• NCI1에서 84.4% 정확도, NCI109에서 83.6% 정확도를 기록하며 ω GAT이 대부분의 벤치마크에서 ω GCN를 능가함을 확인하여 어텐션 기반 연산자 혼합의 효과성을 입증한다.