[논문 리뷰] DropEdge: Towards the Very Deep Graph Convolutional Networks for Node Classification

Yu Rong, Wenbing Huang외 2명|arXiv (Cornell University)|2019. 07. 25.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 GCN의 역전파 동안 간선을 무작위로 제거하는 훈련 기법인 DropEdge를 제안한다. 이는 깊은 그래프 네트워크에서 과적합과 과도한 스무딩을 완화하기 위한 것이다. 데이터 증강 및 메시지 전달 정규화 기법으로 기능하면서, DropEdge는 30개 이상의 레이어를 가진 GCN 훈련을 가능하게 하며, 노드 분류 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Existing Graph Convolutional Networks (GCNs) are shallow---the number of the layers is usually not larger than 2. The deeper variants by simply stacking more layers, unfortunately perform worse, even involving well-known tricks like weight penalizing, dropout, and residual connections. This paper reveals that developing deep GCNs mainly encounters two obstacles: \emph{over-fitting} and \emph{over-smoothing}. The over-fitting issue weakens the generalization ability on small graphs, while over-smoothing impedes model training by isolating output representations from the input features with the increase in network depth. Hence, we propose DropEdge, a novel technique to alleviate both issues. At its core, DropEdge randomly removes a certain number of edges from the input graphs, acting like a data augmenter and also a message passing reducer. More importantly, DropEdge enables us to recast a wider range of Convolutional Neural Networks (CNNs) from the image field to the graph domain; in particular, we study DenseNet and InceptionNet in this paper. Extensive experiments on several benchmarks demonstrate that our method allows deep GCNs to achieve promising performance, even when the number of layers exceeds 30---the deepest GCN that has ever been proposed.

연구 동기 및 목표

• 깊은 아키텍처를 사용할 경우 성능 저하가 발생하므로, 기존 GCN가 일반적으로 얕은(≤2층) 상태로 유지되는 문제를 해결하기 위해.
• 깊은 GCN 훈련의 두 가지 핵심 장애물을 특정하고 이를 완화하기 위해: 작은 그래프에서의 과적합과 입력 특징에서 노드 표현이 분리되는 과도한 스무딩.
• 깊은 CNN 아키텍처(예: DenseNet 및 InceptionNet)를 그래프 학습 영역으로 옮기는 데 기여하기 위해 강력한 훈련 정규화 기법을 도입하기 위해.
• 이전에는 실현 가능하다고 여겨지지 않았지만, DropEdge로 훈련된 깊은 GCN가 강력한 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• DropEdge는 각 전방전파 단계에서 고정된 비율의 간선을 무작위로 제거하는 확률적 간선 제거 메커니즘을 도입한다.
• 간선 제거 방법은 데이터 증강의 한 형태로 작용하여 훈련 다양성을 높이고, 작은 그래프에서의 과적합을 줄인다.
• 메시지 전달 간선 수를 줄임으로써 DropEdge는 과도한 스무딩을 완화하고, 더 깊은 레이어를 통해 입력 노드 특징의 정보를 더 많이 유지한다.
• 기존 GCN 레이어와 호환되며, 아키텍처 변경 없이도 기존 GCN 프레임워크에 원활하게 통합될 수 있다.
• 간선 정규화를 통해 훈련을 안정화시킴으로써, DropEdge는 DenseNet 및 IncheonNet과 같은 깊은 CNN 아키텍처를 그래프 데이터에 적용할 수 있도록 한다.
• 백프로파게이션 동안 적용되며, 간선 드롭아웃 비율은 튜닝이 필요한 하이퍼파rameter로 간주된다.

실험 결과

연구 질문

• RQ1 간단한 간선 제거 메커니즘이 깊은 GCN에서 과적합과 과도한 스무딩을 효과적으로 완화할 수 있는가?
• RQ2 DropEdge는 기존 깊이 제한을 초월하여 30개 이상의 레이어를 가진 GCN 훈련을 어느 정도 가능하게 하는가?
• RQ3 DropEdge는 DenseNet 및 InceptionNet과 같은 깊은 CNN 아키텍처를 그래프 학습 영역으로 성공적으로 이식하는 데 기여할 수 있는가?
• RQ4 DropEdge는 깊은 GCN 훈련을 가능하게 하는 데 있어 표준 정규화 기법(예: 드롭아웃 및 가중치 감쇠)보다 어떻게 비교되는가?
• RQ5 DropEdge는 과적합이 주요 과제인 작은 그래프에서 일반화 성능을 향상시키는가?

주요 결과

• DropEdge는 30개 이상의 레이어를 가진 GCN 훈련을 가능하게 하여, 지금까지 제안된 가장 깊은 GCN 모델을 나타낸다.
• Cora, PubMed, Citeseer 등 여러 벤치마크에서 노드 분류 성능을 크게 향상시켰으며, 특히 깊은 설정에서 두드러진 성능 향상을 보였다.
• 얕은 및 깊은 GCN 구성 모두에서 표준 정규화 기법(예: 드롭아웃 및 가중치 감쇠)보다 DropEdge가 뛰어난 성능을 보였다.
• 과도한 스무딩을 줄임으로써 DropEdge는 더 깊은 레이어에서 입력 특징 정보를 더 많이 유지하여 더 나은 표현 학습을 이끌어냈다.
• 기술은 DenseNet 및 InceptionNet과 같은 깊은 CNN 아키텍처를 그래프 데이터에 성공적으로 적용할 수 있게 하였으며, 노드 분류 작업에서 최신 기술 수준 성능을 달성했다.
• 실험 결과, 과적합이 깊은 GCN에서 주요 문제인 작은 그래프에서 DropEdge가 일반화 성능을 향상시켰다.