[논문 리뷰] DropEdge: Towards Deep Graph Convolutional Networks on Node Classification

Yu Rong, Wenbing Huang외 2명|arXiv (Cornell University)|2019. 07. 25.

Advanced Graph Neural Networks참고 문헌 33인용 수 627

한 줄 요약

DropEdge는 학습 중 임의로 간선을 제거하여 그래프 데이터를 증강하고 메시지 전달 밀도를 감소시켜 더 깊은 GCN과 다양한 백본에서 노드 분류 성능을 향상시킵니다.

ABSTRACT

\emph{Over-fitting} and \emph{over-smoothing} are two main obstacles of developing deep Graph Convolutional Networks (GCNs) for node classification. In particular, over-fitting weakens the generalization ability on small dataset, while over-smoothing impedes model training by isolating output representations from the input features with the increase in network depth. This paper proposes DropEdge, a novel and flexible technique to alleviate both issues. At its core, DropEdge randomly removes a certain number of edges from the input graph at each training epoch, acting like a data augmenter and also a message passing reducer. Furthermore, we theoretically demonstrate that DropEdge either reduces the convergence speed of over-smoothing or relieves the information loss caused by it. More importantly, our DropEdge is a general skill that can be equipped with many other backbone models (e.g. GCN, ResGCN, GraphSAGE, and JKNet) for enhanced performance. Extensive experiments on several benchmarks verify that DropEdge consistently improves the performance on a variety of both shallow and deep GCNs. The effect of DropEdge on preventing over-smoothing is empirically visualized and validated as well. Codes are released on~\url{https://github.com/DropEdge/DropEdge}.

연구 동기 및 목표

• 노드 분류를 위한 심층 GCN에서 과적합과 과도한 스무딩의 문제를 제시한다.
• 유연한 엣지 드로핑 데이터 증강 기법으로 DropEdge를 제안한다.
• DropEdge가 어떻게 과도한 스무딩을 느리게 하고 심층 GCN에서 정보를 보존하는지 분석한다.

제안 방법

• DropEdge는 각 학습 에폭마다 입력 그래프의 간선의 일부 p를 임의로 제거하여 변형된 인접 행렬을 생성한다.
• Drop된 인접 행렬을 Kipf & Welling의 방식대로 재정규화하고 순전파에 사용한다.
• 레이어별 변형에서는 서로 다른 층이 독립적으로 드롭된 인접 행렬을 사용한다.
• DropEdge가 과도한 스무딩의 수렴을 늦추거나 정보 손실을 줄임을 보이는 이론적 근거를 제시한다.
• GCN, ResGCN, JKNet, IncepGCN, GraphSAGE와 같은 백본에서의 호환성과 실험적 이득을 보여준다.

실험 결과

연구 질문

• RQ1 작은 그래프에서 깊은 GCN의 과적합을 DropEdge가 완화하면서 표현 품질을 유지할 수 있는가?
• RQ2 DropEdge가 입력 특징 정보를 손실하지 않으면서 과도한 스무딩을 느리게 하여 더 깊은 GCN을 가능하게 만드는가?
• RQ3 노드 분류를 위한 서로 다른 백본 아키텍처 간에 DropEdge의 전달(전이) 성능은 어떠한가?
• RQ4 벤치마크 전반에 걸친 학습 역학과 검증 성능에 대한 DropEdge의 실증적 영향은 무엇인가?

주요 결과

• DropEdge는 여러 데이터셋에서 다양한 백본에 대해 테스트 정확도를 일관되게 향상시킨다.
• DropEdge는 2층을 넘는 더 깊은 아키텍처의 성능을 향상시키고 일부 설정에서 메모리 문제를 피하는 데에도 기여한다.
• 4-layer 모델에서 Cora의 검증 손실이 더 낮아져 과적합이 감소함을 보인다.
• DropEdge는 추가 이득을 위해 Dropout과 결합될 수 있다.
• 레이어별 DropEdge는 더 높은 계산 비용에서도 미미한 학습 개선을 제공한다.
• DropEdge가 Reddit 및 기타 데이터셋에서 여러 SOTA 방법을 능가한다.