[논문 리뷰] Incomplete Graph Representation and Learning via Partial Graph Neural Networks

Bo Jiang, Ziyan Zhang|arXiv (Cornell University)|2020. 03. 23.

Advanced Graph Neural Networks참고 문헌 44인용 수 15

한 줄 요약

이 논문은 속성 누락 그래프를 직접 다룰 수 있도록 이웃 집합화를 부분 재구성 문제로 재해석하는 새로운 GNN 프레임워크인 부분 그래프 신경망(PaGNNs)을 제안한다. 누락 데이터에 대한 보간 없이도 작동하는 부분 집합화 함수를 유도함으로써, 종래의 종단간 보간-GNN 방법보다 계산량이 적은 것으로서 최신 기술 성능을 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) are gaining increasing attention on graph data learning tasks in recent years. However, in many applications, graph may be coming in an incomplete form where attributes of graph nodes are partially unknown/missing. Existing GNNs are generally designed on complete graphs which can not deal with attribute-incomplete graph data directly. To address this problem, we develop a novel partial aggregation based GNNs, named Partial Graph Neural Networks (PaGNNs), for attribute-incomplete graph representation and learning. Our work is motivated by the observation that the neighborhood aggregation function in standard GNNs can be equivalently viewed as the neighborhood reconstruction formulation. Based on it, we define two novel partial aggregation (reconstruction) functions on incomplete graph and derive PaGNNs for incomplete graph data learning. Extensive experiments on several datasets demonstrate the effectiveness and efficiency of the proposed PaGNNs.

연구 동기 및 목표

• 노드 특성이 일부 누락된 그래프에서 그래프 표현 학습의 과제를 해결한다.
• 기존 GNN이 완전한 노드 특성을 가정하므로 누락된 특성을 직접 처리할 수 없는 한계를 극복한다.
• 메시지 전달과 누락 데이터 처리를 통합한 통합형, 종단간 학습 프레임워크를 개발한다. 별도의 보간 모듈이 필요로 하지 않는다.
• GCN MF와 같은 기존 종단간 모델에 비해 계산 복잡도를 감소시킨다. 이는 누락된 데이터 추정을 위한 추가 파라미터가 필요하기 때문이다.

제안 방법

• 표준 GNN의 이웃 집합화를 이웃 재구성 최적화 문제로 재해석한다.
• 관측된 특성만을 기반으로 재구성 오차를 최소화하는 제약 조건을 가진 부분 재구성 기반의 두 가지 새로운 부분 집합화 함수(평균 및 정규화)를 정의한다.
• 관측된 특성에 대해서만 재구성 오차를 최소화하는 제약 조건 최적화 문제로 부분 집합화를 수식화한다.
• 부분 집합화 함수에 대해 닫힌 형태의 해를 유도함으로써, backpropagation 동안 효율적이고 미분 가능한 업데이트를 가능하게 한다.
• 기존 GCN와 유사한 메시지 전달 방식을 사용하여 PaGNNs를 구현함으로써, 표준 GNN과 동일한 시간 복잡도를 유지한다.
• 사전 보간 없이 종단간으로 학습하여, 누락된 그래프에서 최종 작업을 직접 최적화한다.

실험 결과

연구 질문

• RQ1 GNN의 이웃 집합화를 누락된 그래프 데이터를 처리할 수 있도록 재구성 문제로 재해석할 수 있는가?
• RQ2 보간 없이도 효과적으로 작동하는 누락된 노드 특성에 대한 부분 집합화 함수는 어떻게 도출할 수 있는가?
• RQ3 누락된 그래프를 위한 직접적이고 종단간 GNN 프레임워크가 보간 + GNN 방식의 이중 단계 방법보다 정확도와 효율성 면에서 뛰어나게 성능을 낼 수 있는가?
• RQ4 제안된 부분 집합화 방식은 표준 GNN과 유사한 계산 효율성을 유지하면서도 누락된 데이터를 처리할 수 있는가?
• RQ5 다양한 그래프 데이터셋에서 높은 누락 비율이 증가함에 따라 PaGNN의 성능은 어떻게 변화하는가?

주요 결과

• PaGNNs는 다양한 누락 비율에서 Cora, Citeseer, Amazon 제품 네트워크를 포함한 여러 데이터셋에서 노드 분류 작업에서 최신 기술 성능을 달성한다.
• PaGNN-N(정규화 집합화)는 PaGNN-M(평균 집합화)를 능가하며, AmaPhoto에서 0.9의 누락 비율일 때 92.78%의 정확도를 기록하여 GCN MF(90.82%)와 SAT(90.48%)를 초월한다.
• GAIN 및 VAE와 같은 보간 기반 방법보다 훨씬 뛰어난 성능을 보이며, 특히 높은 누락 비율에서 두각을 나타낸다(예: Cora에서 0.9의 누락 비율일 때 83.16% 정확도 vs. GCN MF의 73.42%).
• GAIN, VAE, SAT, GCN MF보다 더 효율적이며, 표준 GCN와 유사한 에포크당 학습 시간을 유지하면서 모든 이중 단계 기준 모델보다 빠르다.
• 90%의 누락 비율에서도 강력한 성능을 유지하여 극단적인 특성 누락 상황에서도 강인함을 입증한다.
• Ablation 실험 결과, 별도의 보간과 GNN 학습을 분리하는 것보다 직접적인 부분 집합화 학습이 더 효과적임을 확인하여 통합 최적화의 유용성을 확인한다.