[논문 리뷰] Graph-Revised Convolutional Network

Donghan Yu, Ruohong Zhang외 3명|arXiv (Cornell University)|2019. 11. 17.

Advanced Graph Neural Networks참고 문헌 36인용 수 7

한 줄 요약

이 논문은 GCN 기반 모듈을 사용해 누락된 간선을 예측하고 엣지 가중치를 수정함으로써 그래프 수정과 노드 분류를 동시에 학습하는 새로운 프레임워크인 그래프개선형 컨볼루션 네트워크(GRCN)를 제안한다. GRCN은 엣지 예측과 재가중치 조정을 통해 구조적 노이즈와 누락된 링크를 효과적으로 해결함으로써, 특히 매우 불완전한 그래프 또는 희소한 레이블을 가진 경우 강력한 베이스라인들을 능가한다.

ABSTRACT

Graph Convolutional Networks (GCNs) have received increasing attention in the machine learning community for effectively leveraging both the content features of nodes and the linkage patterns across graphs in various applications. As real-world graphs are often incomplete and noisy, treating them as ground-truth information, which is a common practice in most GCNs, unavoidably leads to sub-optimal solutions. Existing efforts for addressing this problem either involve an over-parameterized model which is difficult to scale, or simply re-weight observed edges without dealing with the missing-edge issue. This paper proposes a novel framework called Graph-Revised Convolutional Network (GRCN), which avoids both extremes. Specifically, a GCN-based graph revision module is introduced for predicting missing edges and revising edge weights w.r.t. downstream tasks via joint optimization. A theoretical analysis reveals the connection between GRCN and previous work on multigraph belief propagation. Experiments on six benchmark datasets show that GRCN consistently outperforms strong baseline methods by a large margin, especially when the original graphs are severely incomplete or the labeled instances for model training are highly sparse.

연구 동기 및 목표

• 기존 GCN가 완벽하고 노이즈가 없는 그래프를 전제로 하여 실제 데이터에서 최적의 성능을 내지 못하는 한계를 해결하기 위해.
• 그래프 수정 방법에서 모델의 표현력과 확장성 사이의 상충관계를 해결하여 과도하게 파rameter가 많은 모델을 피하거나 누락된 간선을 간과하는 것을 방지하기 위해.
• 그래프 수정과 최종 노드 분류를 동시에 최적화하는 유연하고 엔드 투 엔드로 학습 가능한 기반 프레임워크를 개발하기 위해.
• GRCN을 다중그래프 신뢰 전파와 이론적으로 연결하여 그 개념적 및 실용적 우수성을 입증하기 위해.
• 극도로 희소하거나 불완전한 데이터에서 GRCN의 우수성을 실증적으로 검증하기 위해.

제안 방법

• 노드 임베딩과 신뢰도 점수를 활용해 누락된 간선을 예측하고 엣지 가중치를 수정하기 위해 GCN 기반의 그래프 수정 모듈을 도입한다.
• 기존 그래프와 새로 예측된 간선을 조합하여 수정된 인접행렬을 구성함으로써 기울기 기반 최적화를 가능하게 한다.
• 모든 학습 반복 과정에서 높은 신뢰도를 가진 간선을 추가하기 위해 미분 가능한 top-k 선택 메커니즘을 사용한다.
• 그래프 수정과 노드 분류를 동시에 최적화함으로써 엔드 투 엔드 학습을 가능하게 한다.
• 이론적 분석을 통해 GRCN이 다중그래프 신뢰 전파와 동치임을 보여주며, 이는 노드 간 다수의 간선 소스를 처리하는 데 효과적임을 정당화한다.
• 노드 특징과 그래프 구조를 모두 활용하기 위해 학습 가능한 유사도 함수를 활용해 간선 예측를 이끌어낸다.

실험 결과

연구 질문

• RQ1 미분 가능한 확장성 있는 그래프 수정 메커니즘이 불완전하고 노이즈가 많은 그래프에서 GCN 성능을 향상시킬 수 있는가?
• RQ2 그래프 수정과 노드 분류를 동시에 최적화하는 방식이 별도 또는 히우리스틱 기반 접근 방식보다 어떻게 다를 수 있는가?
• RQ3 GRCN과 다중그래프 신뢰 전파 사이의 이론적 관계는 무엇인가?
• RQ4 GRCN은 극도의 데이터 희소성 또는 높은 그래프 불완전성 조건에서도 강력한 성능을 유지하는가?
• RQ5 그래프 수정 모듈의 구성 요소들(예: 특징 학습, 그래프 전파)이 전체 성능에 어떤 기여를 하는가?

주요 결과

• GRCN은 다양한 도메인의 여섯 가지 벤치마크 데이터셋에서 최신 기준 또는 경쟁력 있는 성능을 달성한다.
• 원본 그래프가 심하게 불완전하거나 레이블 데이터가 희소할 경우, GRCN은 베이스라인들보다 뚜렷하게 뛰어난 성능을 보인다.
• 절단 실험 결과에서 특징 학습과 그래프 전파가 핵심 요소임을 입증하였으며, GRCN와 유사한 RWFG 버전이 SVD나 FO와 같은 단순한 방법보다 뛰어난 성능을 보였다.
• 간선 유지 비율이 낮아질수록 GRCN와 그 절단 변형 간 성능 격차가 커지며, 이는 희소 조건에서의 강건성을 확인한다.
• 이론적 분석을 통해 GRCN의 메커니즘이 다중그래프 신뢰 전파와 일치함을 확인하였으며, 이는 설계의 철학적 기반을 제공한다.
• 엔드 투 엔드로 가능한 미분 가능한 학습을 통해 모델 파rameter를 제곱적으로 증가시키지 않고도 누락된 간선을 효과적으로 학습할 수 있다.