[논문 리뷰] DropMessage: Unifying Random Dropping for Graph Neural Networks

Taoran Fang, Zhiqing Xiao외 4명|arXiv (Cornell University)|2022. 04. 21.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 그래프 신경망(GNNs)에서 전파된 메시지에 직접 작용하는 새로운 무작위 드롭 방법인 DropMessage를 제안한다. 이는 기존의 다양한 방법들을 하나의 프레임워크로 통합한다. 표본 분산을 줄이고 정보 다양성을 유지함으로써 DropMessage는 학습을 안정화시키며, 다양한 데이터셋과 모델에서 최신 기술 수준의 성능을 달성한다. 과적합, 과도한 스무딩, 노이즈 조건 하에서도 정확도와 일반화 능력 향상에 뚜렷한 성과를 보인다.

ABSTRACT

Graph Neural Networks (GNNs) are powerful tools for graph representation learning. Despite their rapid development, GNNs also face some challenges, such as over-fitting, over-smoothing, and non-robustness. Previous works indicate that these problems can be alleviated by random dropping methods, which integrate augmented data into models by randomly masking parts of the input. However, some open problems of random dropping on GNNs remain to be solved. First, it is challenging to find a universal method that are suitable for all cases considering the divergence of different datasets and models. Second, augmented data introduced to GNNs causes the incomplete coverage of parameters and unstable training process. Third, there is no theoretical analysis on the effectiveness of random dropping methods on GNNs. In this paper, we propose a novel random dropping method called DropMessage, which performs dropping operations directly on the propagated messages during the message-passing process. More importantly, we find that DropMessage provides a unified framework for most existing random dropping methods, based on which we give theoretical analysis of their effectiveness. Furthermore, we elaborate the superiority of DropMessage: it stabilizes the training process by reducing sample variance; it keeps information diversity from the perspective of information theory, enabling it become a theoretical upper bound of other methods. To evaluate our proposed method, we conduct experiments that aims for multiple tasks on five public datasets and two industrial datasets with various backbone models. The experimental results show that DropMessage has the advantages of both effectiveness and generalization, and can significantly alleviate the problems mentioned above.

연구 동기 및 목표

• 그래프 표현 학습에서 흔히 발생하는 과적합, 과도한 스무딩, 비내구성 문제를 해결하기 위해.
• 이전에 특성 또는 인접 행렬에 적용된 무작위 드롭 방법들을 메시지 공간 연산 기반의 단일이고 통합된 프레임워크로 통합하기 위해.
• 무작위 드롭의 효과성에 대한 이론적 근거를 제공하기 위해, 손실 함수 내의 정규화와의 연관성을 규명하기 위해.
• 표본 분산을 최소화하고 메시지의 정보 다양성을 유지함으로써 학습 안정성 향상과 모델 일반화 능력 향상을 위해.
• 다양한 GNN 아키텍처와 실제 응용 분야의 실생활 데이터셋(산업용)을 포함한 다양한 데이터셋에서 DropMessage의 우수성을 입증하기 위해.

제안 방법

• DropMessage는 메시지 전파 단계 동안 메시지 행렬에 직접적으로 무작위 드롭을 수행하여, 동일한 원본 노드가 서로 다른 이웃에게 다른 메시지를 전송할 수 있도록 한다.
• 이 방법은 기존의 접근 방식을 특수한 경우로 모델링함으로써 통합 프레임워크 하에서 일반화하며, 메시지 마스킹이 특정 규칙을 따름을 가정한다.
• 이론적 분석을 통해 메시지 공간에서의 드롭이 암묵적 정규화를 도입하여 모델의 내구성과 일반화 능력을 향상시킴을 보여준다.
• DropMessage는 입력 메시지와 출력 메시지 간의 기대 상호정보량이 높게 유지되도록 하여 정보 다양성을 유지함으로써, 다른 방법들에 대한 이론적 상한선이 된다.
• 노드 기반 및 평균 기반 드롭 비율을 모두 지원하며, 후자는 기대치에서 정보 다양성을 유지하는 데 기여한다.
• 노드 분류, 링크 예측, 내구성 테스크를 포함한 성능 평가를 위해 GCN, GAT, APPNP를 백본 모델로 사용하여 5개의 공개 데이터셋과 2개의 산업용 데이터셋에서 실험을 수행한다.

실험 결과

연구 질문

• RQ1 특성 또는 인접 행렬이 아닌 메시지 행렬에서 작용하는 방식으로, GNN 내 기존의 무작위 드롭 방법들을 통합할 수 있는 프레임워크를 수립할 수 있는가?
• RQ2 메시지 공간에서의 무작위 드롭은 표본 분산 측면에서 GNN 학습의 안정성과 수렴성에 어떻게 영향을 미치는가?
• RQ3 GNN 내 무작위 드롭과 손실 함수 내 정규화 사이의 이론적 관계는 무엇인가?
• RQ4 다른 무작위 드롭 방법과 비교해 볼 때 DropMessage는 정보 다양성을 어느 정도 유지하는가? 이는 모델 성능에 어떤 영향을 미치는가?
• RQ5 다양한 데이터셋과 아키텍처에서 DropMessage는 과적합, 과도한 스무딩, 대비성 노이즈를 완화하는 데 기존 방법들을 능가하는가?

주요 결과

• 무작위 드롭을 적용하지 않은 모델 대비 30% 입력 편향 조건에서 DropMessage는 내구성 측면에서 평균 37% 향상을 달성한다.
• Cora 데이터셋에서, 깊이 ≥3인 모델에 대해 DropMessage는 MADGap를 3.3% 향상시키고 테스트 정확도를 평균 4.9% 향상시켜 과도한 스무딩 완화에 있어 다른 방법들을 능가한다.
• DropMessage는 학습 손실의 표본 분산이 가장 작아, 다른 무작위 드롭 기법 대비 더 빠른 수렴과 더 안정적인 학습을 보였다.
• 정보 다양성 분석 결과, 노드 기반 드롭 설정(드롭 비율을 이론적 상한선으로 설정)이 평균 설정 대비 모든 백본 모델에서 0.8–1.5% 우수한 성능을 보였으며, 다양성 유지의 중요성을 확인했다.
• DropMessage는 다양한 GNN 아키텍처와 데이터셋에서 일반화 능력을 보이며, 공개 벤치마크와 두 개의 산업용 데이터셋 모두에서 일관된 성능 향상을 보였다.
• 이론적 분석을 통해 메시지 공간 드롭이 정규화를 도입함을 확인하여, 모델의 내구성과 일반화 능력 향상에 기여하는 이유를 설명했다.