[논문 리뷰] Graph Convolutional Gaussian Processes

Ian D. Walker, Ben Glocker|arXiv (Cornell University)|2019. 05. 14.

Gaussian Processes and Bayesian Inference인용 수 9

한 줄 요약

이 논문은 그래프 컨볼루션 가우시안 프로세스(GCGP)를 소개한다. GCGP는 가우시안 프로세스 사전분포를 사용하여 비유클리드 그래프로 컨볼루션 인덕티브 바이어스를 확장하는 베이지안 비모수적 방법이다. 국소 패치 반응을 가우시안 프로세스로 모델링하고 그래프 전반에 걸쳐 이를 집계함으로써, 차원 수를 감소시키면서도 높은 표현력을 달성한다. 이는 이미지 및 메쉬 분류 작업에서 소규모 데이터셋에서 딥러닝 기반 모델들을 능가하며, 불확실성 추정도 제공한다.

ABSTRACT

We propose a novel Bayesian nonparametric method to learn translation-invariant relationships on non-Euclidean domains. The resulting graph convolutional Gaussian processes can be applied to problems in machine learning for which the input observations are functions with domains on general graphs. The structure of these models allows for high dimensional inputs while retaining expressibility, as is the case with convolutional neural networks. We present applications of graph convolutional Gaussian processes to images and triangular meshes, demonstrating their versatility and effectiveness, comparing favorably to existing methods, despite being relatively simple models.

연구 동기 및 목표

• 일반적인 그래프에서 번역 불변 관계를 학습하는 베이지안 비모수적 방법을 개발함으로써, 유클리드 도메인을 초월해 컨볼루션 인덕티브 바이어스를 확장한다.
• 표준 가우시안 프로세스에서의 차원의 극복 문제를 국소 그래프 이웃 영역에 집중함으로써 패치 기반 분해를 통해 해결한다.
• 이미지, 삼각 메쉬, 사회망과 같이 비유클리드 그래프에 정의된 고차원 입력에서 불확실성 인식 학습을 가능하게 한다.
• 제한된 학습 데이터에서도 잘 작동하는 딥 그래프 신경망의 원칙적이고 확장 가능한 대안을 제공한다.
• 변동하는 구조와 정점 수를 가진 그래프에서 계층적이고 융통성 있는 GP 모델의 기초를 마련한다.

제안 방법

• 모델은 입력 신호를 국소 그래프 이웃 영역(패치)으로 분해하고, 각 패치의 반응을 공유된 가우시안 프로세스 사전분포로 모델링한다.
• 전체 함수는 패치 반응의 합으로 정의되며, 덧셈 GP 구조를 통해 전체 입력에 대한 GP 사전분포를 유도한다.
• 패치 반응 함수 $ g $ 는 정적 커널(예: RBF)을 사용하여 그래프 전반에서 번역 불변성을 보장한다.
• 모델은 변분 추론을 통해 훈련되며, 확장 가능한 추론을 가능하게 하기 위해 GP 사후분포에 대한 구조적 근사가 사용된다.
• 이 방법은 유클리드 격자(이미지)와 비유클리드 그래프(삼각 메쉬, 슈퍼픽셀 그래프)에 모두 적용되며, 다양한 도메인에서 일관된 성능을 보인다.
• 모델은 각 그래프의 정점 수가 고정되어 있음을 가정하여 일관된 입력 차원을 확보하면서도, 간선 구조는 다양하게 허용한다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스를 사용하여 유클리드 도메인(예: 이미지)에서 비유클리드 일반 그래프로 컨볼루션 인덕티브 바이어스를 효과적으로 확장할 수 있는가?
• RQ2 패치 기반 집계를 통해 그래프에서 차원을 감소시키면서도 표현력을 유지할 수 있는 GP 기반 모델은 가능한가?
• RQ3 GP의 불확실성과 컨볼루션 불변성의 조합이, 딥러닝 기반 모델 대비 소규모 데이터셋에서 일반화 성능을 향상시키는가?
• RQ4 표준 CNN이 적용되지 않는 비유클리드 도메인, 예를 들어 3D 메쉬 및 슈퍼픽셀 그래프에서 모델의 성능은 어떠한가?
• RQ5 정점 수가 변동하는 그래프를 처리할 수 있도록 모델을 확장할 수 있으며, 현재의 고정 정점 프레임워크의 한계는 무엇인가?

주요 결과

• GCGP는 MNIST 슈퍼픽셀 및 3D 메쉬 데이터셋에서 경쟁적인 분류 정확도를 달성하였으며, 제한된 학습 데이터로 인해 과적합하는 MoNet과 같은 딥러닝 모델들을 능가했다.
• 2500개 정점의 메쉬 분류 작업에서, GCGP는 단일 레이어 MoNet이 오직 33.33%의 정확도를 기록한 것에 비해 유의미하게 높은 성능을 보였다.
• 낮은 해상도에서 시각적으로 유사한 개인(예: MPI Faust의 주제 4와 8)을 계속 혼동하는 경향을 보였으며, 이는 성능이 국소 특징 유사성에 의해 제한됨을 시사한다.
• 얕고 넓은 모델임에도 불구하고 GCGP는 소규모 데이터셋에서 강력한 일반화 성능을 보였으며, 효과적인 인덕티브 바이어스와 데이터 효율성의 잠재력을 보여준다.
• GCGP의 베이지안 성격 덕분에 의미 있는 불확실성 추정이 가능하며, 이는 표준 딥러닝 모델에 비해 핵심적인 이점이다.
• 이 방법은 향후 계층적 모델의 기초로 유망한 가능성을 보이며, 특히 딥 GP 프레임워크와 조합할 경우 더욱 그렇다.