[논문 리뷰] Learning to Drop: Robust Graph Neural Network via Topological Denoising

Dongsheng Luo, Wei Cheng외 5명|arXiv (Cornell University)|2020. 11. 13.

Advanced Graph Neural Networks참고 문헌 54인용 수 15

한 줄 요약

이 논문은 그래프 신경망(GNN)의 정확도를 향상시키기 위해 작업에 무관한 엣지를 자동으로 제거하는 파라미터화된 위상적 노이즈 제거 네트워크인 PTDNet을 제안한다. 엣지 희소화와 핵노름 정규화를 결합하여 낮은 질서의 구조를 강제함으로써, PTDNet은 GNN의 일반화 능력을 향상시키며, 특히 노이즈가 많은 데이터셋에서 높은 성능 향상을 기록한다. 이는 노드 분류 및 링크 예측 작업 전반에 걸쳐 성과 향상을 이룬다.

ABSTRACT

Graph Neural Networks (GNNs) have shown to be powerful tools for graph analytics. The key idea is to recursively propagate and aggregate information along edges of the given graph. Despite their success, however, the existing GNNs are usually sensitive to the quality of the input graph. Real-world graphs are often noisy and contain task-irrelevant edges, which may lead to suboptimal generalization performance in the learned GNN models. In this paper, we propose PTDNet, a parameterized topological denoising network, to improve the robustness and generalization performance of GNNs by learning to drop task-irrelevant edges. PTDNet prunes task-irrelevant edges by penalizing the number of edges in the sparsified graph with parameterized networks. To take into consideration of the topology of the entire graph, the nuclear norm regularization is applied to impose the low-rank constraint on the resulting sparsified graph for better generalization. PTDNet can be used as a key component in GNN models to improve their performances on various tasks, such as node classification and link prediction. Experimental studies on both synthetic and benchmark datasets show that PTDNet can improve the performance of GNNs significantly and the performance gain becomes larger for more noisy datasets.

연구 동기 및 목표

• 실세계 그래프에서 노이즈가 많고 작업에 무관한 엣지로 인해 GNN의 일반화 능력이 떨어지는 문제를 해결한다.
• 추론 중에 효과적이지 않은 기존의 비파라미터화된 엣지 제거 방법(예: DropEdge)의 한계를 극복한다.
• 노드 특징과 전반적인 그래프 위상 구조를 기반으로 엣지를 학습적으로 제거할 수 있는 미분 가능한 파라미터화된 프레임워크를 개발한다.
• 노드 분류 및 링크 예측과 같은 최종 작업에서 일반화 능력을 향상시키고 과도한 스무딩을 완화함으로써 GNN 성능을 향상시킨다.
• 다양한 GNN 아키텍처(GCN, GraphSAGE, GAT 등)와 호환되는 플러그인 모듈로 위상적 노이즈 제거를 통합한다.

제안 방법

• 학습된 어텐션 가중치에 기반해 엣지를 자동으로 제거하는 미분 가능한 위상적 노이즈 제거 네트워크를 사용한 파라미터화된 엣지 제거 메커니즘을 제안한다.
• 노드당 학습된 점수에 기반해 상위-k 엣지만 유지하는 top-k 희소화 전략을 적용하여 그래프의 엣지 수를 제한한다.
• 희소화된 인접 행렬에 핵노름 정규화를 적용하여 낮은 질서의 구조를 강제함으로써 일반화 능력을 향상시키고 과도한 스무딩을 줄인다.
• 하류 작업 손실을 사용해 GNN 기반 모델과 함께 엣지 제거 네트워크를 엔드 투 엔드로 훈련함으로써 작업에 특화된 엣지 제거를 가능하게 한다.
• 학습 가능한 게이트 메커니즘을 도입하여 엣지 유지 여부를 제어함으로써 노이즈가 많거나 무관한 연결을 적응적으로 억제할 수 있도록 한다.
• PTDNet을 GNN 레이어 이전의 전처리 모듈로 통합하여 다양한 GNN 아키텍처와의 호환성을 확보한다.

Figure 1. Performance of GCN w.r.t. removing positive and negative edges on Cora.

실험 결과

연구 질문

• RQ1 학습 가능한 파라미터화된 엣지 제거 메커니즘이 노이즈가 많은 실세계 그래프에서 GNN의 정확도와 일반화 능력을 향상시킬 수 있는가?
• RQ2 핵노름 정규화를 통한 위상적 노이즈 제거 방식이, 구조가 없는 엣지 제거 방식(예: DropEdge)과 비교해 과도한 스무딩을 얼마나 효과적으로 완화하는가?
• RQ3 PTDNet이 다양한 수준의 그래프 노이즈에서 노드 분류 및 링크 예측 작업 성능을 얼마나 향상시키는가?
• RQ4 하류 작업과 함께 노이즈 제거 과정을 공동 최적화함으로써 작업에 특화된 의미 있는 엣지 제거를 달성할 수 있는가?
• RQ5 노드 특징과 전반적인 그래프 위상 구조를 모두 고려한 노이즈 제거 과정이, 단지 하나의 요소에 의존하는 방법보다 더 높은 성능을 내는가?

주요 결과

• 노드 분류 작업에서 PTDNet은 GCN 및 DropEdge 대비 Cora와 Citeseer에서 각각 1.5–2.5%의 절대 성능 향상을 기록했다.
• Pubmed 데이터셋에서 PTDNet은 링크 예측 작업에서 AUC 0.966, AP 0.966을 기록했으며, GCN(AUC: 0.964, AP: 0.965) 및 NeuralSparse를 모두 앞서나갔다.
• PTDNet의 성능 향상은 그래프 노이즈가 증가할수록 커지며, 특히 매우 노이즈가 많은 데이터셋에서 뛰어난 정확도를 보였다.
• 깊이가 깊은 GNN(예: 16층)에서 PTDNet은 DropEdge보다 뚜렷한 성능 우월성을 보였는데, 이는 테스트 시점에 파라미터화된 엣지 제거 기능 덕분이었다.
• 핵노름 정규화가 일반화 능력을 향상시키는 데 기여했으며, 이는 과도한 스무딩이 줄어들고 깊은 아키텍처에서 성능이 향상된 것으로 확인되었다.
• 절단 실험 결과, top-k 희소화와 핵노름 정규화 요소가 모두 필수적임을 입증하였으며, 둘 중 하나를 제거할 경우 평균 1–2%의 성능 저하가 발생했다.

(a) Framework of PTDNet.