[논문 리뷰] Node Masking: Making Graph Neural Networks Generalize and Scale Better

Pushkar Mishra, Aleksandra Piktus외 2명|arXiv (Cornell University)|2020. 01. 17.

Advanced Graph Neural Networks참고 문헌 32인용 수 7

한 줄 요약

이 논문은 훈련 중에 노드를 확률적으로 마스킹함으로써 일반화 및 확장성을 향상시키는 간단하면서도 효과적인 정규화 기법인 노드 마스킹(Node Masking)을 소개한다. 관계적 인덕티브 바이어스를 강화하고 과적합을 줄임으로써, Cora, PubMed, Reddit에서 추론 및 인도크티브 노드 분류 벤치마크에서 성능을 향상시키며, 캐싱 없이 GIN보다 F1 점수 최대 3.5% 향상됨.

ABSTRACT

Graph Neural Networks (GNNs) have received a lot of interest in the recent times. From the early spectral architectures that could only operate on undirected graphs per a transductive learning paradigm to the current state of the art spatial ones that can apply inductively to arbitrary graphs, GNNs have seen significant contributions from the research community. In this paper, we utilize some theoretical tools to better visualize the operations performed by state of the art spatial GNNs. We analyze the inner workings of these architectures and introduce a simple concept, Node Masking, that allows them to generalize and scale better. To empirically validate the concept, we perform several experiments on some widely-used datasets for node classification in both the transductive and inductive settings, hence laying down strong benchmarks for future research.

연구 동기 및 목표

• 최신 공간 GNN의 내부 동작을 분석하고, 과정 스무딩과 과적합의 원인을 규명하기 위해.
• 추론 및 인도크티브 학습 환경에서 GNN의 일반화 및 확장성 향상하기 위해.
• 관계적 인덕티브 바이어스를 향상시키는 정규화 기법으로서 노드 마스킹을 제안하고 실증적으로 검증하기 위해.
• 향후 GNN 연구를 위한 강력하고 재현 가능한 벤치마크를 다양한 데이터 분할 기준으로 설정하기 위해.

제안 방법

• 노드 마스킹은 순전파 동안 훈련 노드의 일부를 확률적으로 마스킹함으로써, GNN이 노드 특성보다는 관계 구조에 더 의존하도록 유도함.
• 이 방법은 특성 또는 메시지 수준의 마스킹과는 다름없이 노드 수준에서 드롭아웃 유사 정규화를 적용함으로써 일반화를 향상시킴.
• 이론적 도구를 활용해 GNN 동작을 시각화함으로써, 집계 동역학에서 과정 스무딩과 과적합이 어떻게 발생하는지 밝혀냄.
• 이 방법은 GIN 및 기타 집계 기반 GNN에 적용되며, 추론 및 인도크티브 설정 모두에서 성능 평가됨.
• 1단계 이웃 표현을 재사용함으로써 계산 비용을 줄이기 위해 캐싱을 사용하며, 노드 마스킹은 캐싱이 있더라도 성능을 유지하거나 향상시킴.
• 다양한 데이터 분할 및 모델 크기에서 노드 마스킹 유무에 따라 모델을 비교하여 탄력성과 확장성 평가함.

실험 결과

연구 질문

• RQ1 최신 집계 기반 GNN에서 과정 스무딩과 과적합은 어떻게 발생하며, 그 배경이 되는 메커니즘은 무엇인가?
• RQ2 노드 마스킹과 같은 단순하고 학습 가능한 정규화 기법이 추론 및 인도크티브 GNN 환경에서 일반화를 향상시킬 수 있는가?
• RQ3 노드 마스킹은 대규모 그래프에서 캐싱과 결합했을 때 얼마나 확장성 향상에 기여하는가?
• RQ4 특히 인도크티브 환경에서 추론에 참여하는 고유한 노드 수를 줄였을 때, 노드 마스킹은 성능을 유지하거나 향상시키는가?

주요 결과

• 노드 마스킹은 인도크티브 설정에서 Cora에서 GIN 성능을 최대 3.93% 향상시키며, PubMed와 Reddit에서는 3.5% 이상의 F1 점수 향상 기록.
• Cora에서 90% 훈련 세트 크기로 GIN+NodeMasking는 83.95%의 F1 점수 기록하며, 캐싱 없이 GIN(83.07%) 및 캐싱 있음 GIN(82.50%)을 모두 초월함.
• PubMed에서 75% 훈련 세트 크기로 노드 마스킹은 F1 점수를 GIN의 85.46%에서 GIN+NM의 86.59%로 향상시키며, 유의미한 p값 < 0.05 기록.
• Cora에서 10% 훈련 세트 크기로 GIN과 GIN+NodeMasking의 MAD(Mean Activation Distance) 값은 거의 동일함(예: 0.65), 이는 노드 마스킹이 표현 능력을 손상시키지 않음을 시사함.
• 노드 마스킹은 손실 곡선을 통해 과적합이 감소함을 보여주며, 이는 데이터 분할 간에 더 매끄러운 학습 동역학과 더 나은 일반화를 의미함.
• 캐싱이 있을 경우, GIN+NodeMasking는 캐싱 없이 GIN의 성능을 유지하거나 초월함으로써, 정규화 기법이 정확도를 희생시키지 않고도 확장성을 향상시킴을 입증함.