[논문 리뷰] RobustGCNs: Robust Norm Graph Convolutional Networks in the Presence of Node Missing Data and Large Noises

Bo Jiang, Ziyan Zhang|arXiv (Cornell University)|2020. 03. 23.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 노드 속성의 누락 데이터와 큰 노이즈를 처리하기 위해 강력한 노름 기반 특징 학습을 그래프 컬러션에 통합한 새로운 그래프 컬러션 네트워크 아키텍처인 RobustGCNs를 제안한다. 그래프 컬러션을 그래프 구조상의 데이터 재구성 과정으로 재해석하고, 전파 함수에 강력한 노름(예: L1 또는 Huber)을 적용함으로써, 이상치 및 누락된 특징에 대한 강건성을 향상시켜 노이즈가 많은 벤치마크 데이터셋에서 뛰어난 성능을 달성한다.

ABSTRACT

Graph Convolutional Networks (GCNs) have been widely studied for attribute graph data representation and learning. In many applications, graph node attribute/feature may contain various kinds of noises, such as gross corruption, outliers and missing values. Existing graph convolutions (GCs) generally focus on feature propagation on structured graph which i) fail to address the graph data with missing values and ii) often perform susceptibility to the large feature errors/noises and outliers. To address this issue, in this paper, we propose to incorporate robust norm feature learning mechanism into graph convolution and present Robust Graph Convolutions (RGCs) for graph data in the presence of feature noises and missing values. Our RGCs is proposed based on the interpretation of GCs from a propagation function aspect of 'data reconstruction on graph'. Based on it, we then derive our RGCs by exploiting robust norm based propagation functions into GCs. Finally, we incorporate the derived RGCs into an end-to-end network architecture and propose a kind of RobustGCNs for graph data learning. Experimental results on several noisy datasets demonstrate the effectiveness and robustness of the proposed RobustGCNs.

연구 동기 및 목표

• 기존 그래프 컬러션이 노드 속성의 누락을 다루는 데에 한계가 있음을 해결한다.
• 일상적인 데이터 오류인 심각한 손상과 이상치에 대해 GCNs의 강건성을 향상시킨다.
• 노이즈가 많고 완전하지 못한 노드 특징에 강건한 새로운 그래프 컬러션 메커니즘을 개발한다.
• 그래프 표현 학습을 위한 엔드 투 엔드 딥 러닝 프레임워크에 강건한 컬러션을 통합한다.
• 실제 노이즈가 많은 그래프 데이터셋에서 제안된 방법의 효과성을 입증한다.

제안 방법

• 그래프 컬러션을 그래프 구조상의 데이터 재구성 과정으로 재해석하고, 특징 전파를 재구성 오차 최소화로 프레임화한다.
• 표준 L2 기반 전파를 강력한 노름 기반(예: L1 또는 Huber) 손실 함수로 대체하여 이상치 및 노이즈에 대한 민감도를 감소시킨다.
• GCN 프레임워크에 강력한 노름 기반 전파 함수를 통합하여 강력한 그래프 컬러션(RGCs)을 설계한다.
• 메시지 전달 중 노드 특징에 대해 강력한 목적 함수를 최소화하는 가역적 모듈로 RGC 레이어를 제작한다.
• 노이즈가 많은 특징을 가진 그래프 구조 데이터에서 엔드 투 엔드 학습이 가능한 딥 뉴럴 네트워크 아키텍처에 RGCs를 통합한다.
• 표준 백프로파게이션을 사용해 전체 네트워크를 최적화하며, 강력한 노름이 노이즈가 많은 입력 조건에서도 기울기 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 강력한 노름 기반 특징 학습은 노드 속성 누락 상황에서 그래프 컬러션의 강건성을 향상시킬 수 있는가?
• RQ2 큰 특징 노이즈와 이상치에 노출되었을 때 제안된 RGC 메커니즘은 표준 GCNs에 비해 어떻게 성능을 발휘하는가?
• RQ3 강력한 노름 공식화는 노이즈가 많은 그래프 데이터셋에서 모델 일반화 능력을 어느 정도 향상시키는가?
• RQ4 노이즈와 누락 데이터의 수준이 다양할 경우 제안된 방법은 성능을 유지하는가?
• RQ5 강력한 노름 기반 전파 함수는 엔드 투 엔드 GCN 프레임워크에 효과적으로 통합될 수 있는가?

주요 결과

• 제안된 RobustGCNs는 노드 특징 누락 및 큰 노이즈가 있는 데이터셋에서 표준 GCNs를 뛰어넘는 성능을 보인다.
• RobustGCNs는 노드 속성에서 이상치와 심각한 손상에 대해 향상된 강건성을 보이며, 극한의 노이즈 조건에서도 높은 성능을 유지한다.
• 전파 함수에 강력한 노름(예: L1 또는 Huber)을 사용함으로써 입력 특징의 큰 오차에 대한 민감도가 감소한다.
• 실험 결과, 다양한 노이즈가 많은 벤치마크 데이터셋에서 일관된 성능 향상이 관찰되어 강력한 노름 접근법의 효과성을 입증한다.
• RobustGCNs의 엔드 투 엔드 학습은 입력 특징이 손상되거나 완전하지 않을 경우에도 안정적인 최적화를 가능하게 한다.