[논문 리뷰] Graph Optimized Convolutional Networks.

Bo Jiang, Ziyan Zhang외 2명|arXiv (Cornell University)|2019. 04. 26.

Advanced Graph Neural Networks참고 문헌 38인용 수 8

한 줄 요약

이 논문은 그래프 최적화와 그래프 컨볼루션을 하나의 프레임워크로 통합함으로써 그래프 표현 학습을 향상시키기 위해 그래프 최적화 컨volution 네트워크(GOCN)와 다중 GOCN(M-GOCN)을 제안한다. 그래프 구조와 특징 학습을 함께 최적화함으로써 단일 및 다중 그래프 데이터에서 성능을 향상시키며, 고정 그래프 기반 GCN에 비해 뛰어난 성능을 보여준다.

ABSTRACT

Graph Convolutional Networks (GCNs) have been widely studied for graph data representation and learning tasks. Existing GCNs generally use a fixed single graph which may lead to weak suboptimal for data representation/learning and are also hard to deal with multiple graphs. To address these issues, we propose a novel Graph Optimized Convolutional Network (GOCN) for graph data representation and learning. Our GOCN is motivated based on our re-interpretation of graph convolution from a regularization/optimization framework. The core idea of GOCN is to formulate graph optimization and graph convolutional representation into a unified framework and thus conducts both of them cooperatively to boost their respective performance in GCN learning scheme. Moreover, based on the proposed unified graph optimization-convolution framework, we propose a novel Multiple Graph Optimized Convolutional Network (M-GOCN) to naturally address the data with multiple graphs. Experimental results demonstrate the effectiveness and benefit of the proposed GOCN and M-GOCN.

연구 동기 및 목표

• 기존 그래프 컨볼루션 네트워크(GCN)에서 고정된 단일 그래프의 한계로 인해 최적의 표현이 도출되지 않는 문제를 해결하기 위해.
• 그래프 구조와 그래프 컨볼루션을 함께 최적화하는 통합 프레임워크를 개발하여 학습 성능을 향상시키기 위해.
• 제안된 다중 GOCN(M-GOCN) 아키텍처를 통해 다중 그래프를 자연스럽게 처리할 수 있도록 프레임워크를 확장하기 위해.
• 기존 GCN의 약한 표현 및 낮은 일반화 능력 문제를 정규화/최적화 기반의 그래프 컨볼루션 재해석을 통해 극복하기 위해.

제안 방법

• 정규화/최적화 프레임워크를 통해 그래프 컨볼루션을 재해석함으로써 그래프 구조 학습과 특징 표현을 통합하기 위해.
• 그래프 최적화와 그래프 컨볼루션을 공동 최적화 문제로 공식화하여 상호 보완적 강화를 가능하게 하기 위해.
• 학습 중 인접 행렬을 업데이트할 수 있는 미분 가능 그래프 최적화 모듈을 도입하여 표현 품질을 향상시키기 위해.
• 다양한 그래프 구조를 동시에 학습할 수 있도록 통합 프레임워크를 확장하여 다중 그래프를 처리할 수 있도록 M-GOCN를 설계하기 위해.
• 그래프 구조 학습과 노드 표현 학습을 균형 잡는 통합 목적 함수를 사용하기 위해.
• 최적화 이론을 활용하여 공동 프레임워크의 엔드 투 엔드 학습 중 수렴성과 안정성을 보장하기 위해.

실험 결과

연구 질문

• RQ1 고정 그래프 기반 접근 방식에 비해 그래프 구조와 특징 학습을 함께 최적화함으로써 GCN의 표현 품질이 향상되는가?
• RQ2 제안된 통합 프레임워크는 단일 그래프에서의 그래프 학습 작업 성능을 어떻게 향상시키는가?
• RQ3 이러한 통합 프레임워크는 다중 그래프를 효과적으로 처리할 수 있도록 얼마나 잘 확장될 수 있는가?
• RQ4 최적화 기반의 그래프 컨볼루션 재해석은 더 강건하고 일반화 능력이 뛰어난 표현을 이끌어내는가?
• RQ5 기준 데이터셋에서 기존 GCN 변종에 비해 GOCN는 정확도 및 일반화 능력 측면에서 어떻게 비교되는가?

주요 결과

• GOCN는 그래프 구조와 표현 학습을 함께 최적화함으로써 표준 그래프 벤치마크 데이터셋에서 뛰어난 성능을 달성한다.
• 통합 프레임워크는 고정 그래프 기반 GCN에 비해 더 나은 일반화 및 강건성을 보여준다.
• M-GOCN는 다중 그래프를 효과적으로 처리하며 다중 그래프 학습 작업의 성능을 향상시킨다.
• 제안된 방법은 다양한 데이터셋에서 일관된 향상을 보이며 강력한 일반화 능력을 보여준다.
• 제거 실험 결과는 그래프와 특징 학습의 공동 최적화가 순차적 또는 별도 최적화보다 더 효과적임을 확인한다.