[논문 리뷰] Graph U-Nets

Hongyang Gao, Shuiwang Ji|arXiv (Cornell University)|2019. 05. 11.

Advanced Graph Neural Networks참고 문헌 46인용 수 213

한 줄 요약

이 논문은 그래프 표현 학습을 위한 새로운 인코더-디코더 아키텍처인 Graph U-Nets를 소개한다. 이는 학습 가능한 그래프 풀링(gPool) 및 언풀링(gUnpool) 연산을 활용하여 그래프 상에서 U-Net 스타일의 특징 학습을 가능하게 한다. 다운샘플링 시 핵심 노드를 적절히 선택하고 업샘플링 시 이를 재구성함으로써 Graph U-Nets는 노드 및 그래프 분류 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We consider the problem of representation learning for graph data. Convolutional neural networks can naturally operate on images, but have significant challenges in dealing with graph data. Given images are special cases of graphs with nodes lie on 2D lattices, graph embedding tasks have a natural correspondence with image pixel-wise prediction tasks such as segmentation. While encoder-decoder architectures like U-Nets have been successfully applied on many image pixel-wise prediction tasks, similar methods are lacking for graph data. This is due to the fact that pooling and up-sampling operations are not natural on graph data. To address these challenges, we propose novel graph pooling (gPool) and unpooling (gUnpool) operations in this work. The gPool layer adaptively selects some nodes to form a smaller graph based on their scalar projection values on a trainable projection vector. We further propose the gUnpool layer as the inverse operation of the gPool layer. The gUnpool layer restores the graph into its original structure using the position information of nodes selected in the corresponding gPool layer. Based on our proposed gPool and gUnpool layers, we develop an encoder-decoder model on graph, known as the graph U-Nets. Our experimental results on node classification and graph classification tasks demonstrate that our methods achieve consistently better performance than previous models.

연구 동기 및 목표

• 컴퓨터 비전에서 U-Net과 유사한 효과적인 인코더-디코더 아키텍처가 그래프 데이터에 부족한 문제를 해결하기 위해.
• 격자 구조가 아닌 비격자 그래프 구조에 풀링 및 업샘플링 연산을 자연스럽게 적용하는 데 도전하는 문제를 해결하기 위해.
• 그래프 압축 및 재구성 과정에서 구조적 및 특징 정보를 유지하는 차별화 가능한, 학습 가능한 연산을 개발하기 위해.
• 그래프 상의 픽셀 수준 및 노드 수준 예측 작업을 위한 그래프 신경망의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 구조적 계층적 특징 학습을 통해 그래프 수준 및 노드 수준 분류 작업의 성능을 향상시키기 위해.

제안 방법

• 학습 가능한 투영 벡터에 대한 스칼라 투영을 기반으로 노드의 부분집합을 선택하는 차별화 가능한 그래프 풀링 레이어인 gPool을 제안한다.
• 해당 gPool 연산에서 선택된 노드의 위치를 사용하여 그래프 구조를 복원하는 차별화 가능한 언풀링 연산인 gUnpool을 구현한다.
• gPool 레이어가 그래프를 다운샘플링하고 gUnpool 레이어가 이를 업샘플링하는 인코더-디코더 아키텍처를 설계하여, 이미지 분할에서의 U-Net과 유사한 스킵 커넥션 기능을 제공한다.
• 압축 과정에서 구조적 정보를 유지하기 위해 gPool에서 중요한 노드를 동적으로 식별하기 위해 학습 가능한 투영 벡터를 사용한다.
• gPool 및 gUnpool을 U-Net 유사 아키텍처에 통합하여 다양한 그래프 스케일에서 계층적 표현을 캡처한다.
• 차별화 가능한 풀링 및 언풀링 연산을 통해 역전파를 통해 전체 아키텍처의 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습 가능한 풀링 및 언풀링 연산을 사용하여 U-Net 스타일 아키텍처를 그래프 구조 데이터에 효과적으로 적응시킬 수 있는가?
• RQ2 다운샘플링 과정에서 핵심 정보를 유지하기 위해 그래프 풀링을 어떻게 차별화 가능하고 구조적으로 인지 가능한 방식으로 만들 수 있는가?
• RQ3 풀링의 역연산인 언풀링이 노드 위치 정보를 사용하여 원래의 그래프 구조를 정확히 재구성할 수 있는가?
• RQ4 제안된 Graph U-Net 아키텍처가 노드 및 그래프 분류 작업에서 기존 GNN 모델보다 우수한 성능을 보일 수 있는가?
• RQ5 스킵 커넥션과 계층적 특징 학습은 그래프 표현 학습에서 성능 향상에 얼마나 기여하는가?

주요 결과

• Graph U-Nets는 노드 분류 및 그래프 분류 작업 모두에서 이전 모델보다 일관되게 뛰어난 성능을 달성한다.
• 제안된 gPool 및 gUnpool 연산은 이미지 분할에서 U-Net과 유사하게 그래프 데이터 상에서 효과적인 계층적 특징 학습을 가능하게 한다.
• 인코더와 디코더 레이어 간의 스킵 커넥션 기능을 통해 세밀한 구조적 및 특징 정보를 유지한다.
• gPool 및 gUnpool의 차별화 가능성 덕분에 전체 아키텍처의 엔드 투 엔드 학습이 가능하다.
• 성능 향상 요인은 gPool이 주목할 만한 노드에 집중하고 gUnpool이 이를 정확하게 재구성할 수 있다는 데 기인한다.
• 실험 결과 Graph U-Nets가 표준 그래프 벤치마크 데이터셋에서 기존 베이스라인 모델을 모두 능가함을 입증한다.