[논문 리뷰] PiNet: A Permutation Invariant Graph Neural Network for Graph Classification

Peter C. Meltzer, Marcelo Daniel Gutierrez Mallea외 1명|arXiv (Cornell University)|2019. 05. 08.

Advanced Graph Neural Networks참고 문헌 10인용 수 9

한 줄 요약

PiNet는 노드 순서에 관계없이 동일한 그래프 표현을 얻을 수 있도록 하는 순열 불변(permutation-invariant) 그래프 신경망이다. 이는 노드 순서에 민감하지 않은 미분 가능한 노드 어텐션 풀링 기반의 방법을 사용하여 고정된 크기의 그래프 표현을 학습한다. 이는 분자의 분류 벤치마크에서 최고 성능을 기록하며, 매우 적은 학습 데이터로도 동형성 탐지에서 통계적으로 유의미한 정확도 향상을 보여준다.

ABSTRACT

We propose an end-to-end deep learning learning model for graph classification and representation learning that is invariant to permutation of the nodes of the input graphs. We address the challenge of learning a fixed size graph representation for graphs of varying dimensions through a differentiable node attention pooling mechanism. In addition to a theoretical proof of its invariance to permutation, we provide empirical evidence demonstrating the statistically significant gain in accuracy when faced with an isomorphic graph classification task given only a small number of training examples. We analyse the effect of four different matrices to facilitate the local message passing mechanism by which graph convolutions are performed vs. a matrix parametrised by a learned parameter pair able to transition smoothly between the former. Finally, we show that our model achieves competitive classification performance with existing techniques on a set of molecule datasets.

연구 동기 및 목표

• 노드 순서가 임의일 수 있는 그래프 분류 문제에 도전하며, 동형 그래프를 동일한 것으로 간주해야 한다는 점을 다루기 위해.
• 입력 그래프의 노드 순서에 대해 불변성을 보장하는 종단간(end-to-end) 딥러닝 모델을 개발하기 위해.
• 기존 GNN의 그래프 수준 작업에서의 한계를 극복하기 위해, 노드 순서에 관계없이 일관된 그래프 수준 표현을 가능하게 하기 위해.
• 노드 표현을 고정 크기의 그래프 임베딩으로 요약하기 위한 미분 가능한 어텐션 기반 메커니즘을 설계하기 위해.
• 다양한 구조적 복잡도를 가진 분자의 다양한 그래프 데이터셋에서 모델의 강건성과 일반화 능력을 평가하기 위해.

제안 방법

• 노드 표현을 고정 크기의 그래프 수준 임베딩으로 요약하는 학습 가능한 어텐션 풀링 레이어를 갖춘 그래프 신경망 아키텍처를 제안한다.
• 학습 가능한 파라미터 $p$와 $q$로 매arameterized된 메시지 전파 메커니즘을 도입하여, 다양한 메시지 전파 행렬 간의 부드러운 전이를 가능하게 한다.
• 어텐션 메커니즘은 노드 표현을 기반으로 노드 가중치를 계산하여, 미분 가능하고 순열 불변인 요약을 가능하게 한다.
• 표준 역전파(backpropagation)를 사용하여 교차 엔트로피 손실을 기반으로 종단간(end-to-end)으로 모델을 훈련시킨다.
• 메시지 전파 행렬은 네 개의 기본 행렬의 볼록 조합(convex combination)으로 정의되며, $p$와 $q$가 이들 간의 전이를 제어한다.
• 모델의 출력이 입력 그래프의 노드 순서에 대해 어떤 순열에도 불변임을 보여주는 이론적 증명을 제시한다.

실험 결과

연구 질문

• RQ1 그래프 분류를 위한 딥러닝 모델이 높은 정확도를 유지하면서도 노드 순서에 대해 보장된 불변성을 달성할 수 있는가?
• RQ2 제안된 미분 가능한 어텐션 풀링 메커니즘은 강건하고 순열 불변인 그래프 표현을 얼마나 효과적으로 학습하는가?
• RQ3 모델은 다양한 그래프 유형에 대해 수동으로 설정된 값보다 더 우수한 메시지 전파 행렬을 동적으로 학습할 수 있는가?
• RQ4 제한된 학습 데이터로도 동형성 탐지에서 통계적으로 유의미한 성능 향상을 달성하는가?
• RQ5 기존의 그래프 분류기들과 비교해 표준 분자의 벤치마크 데이터셋에서 어떻게 성능을 내는가?

주요 결과

• PiNet는 특히 작은 학습 세트에서 동형성 분류 작업에서 통계적으로 유의미한 정확도 향상을 기록하며, GCN, PATCHY-SAN, WLKernel를 모두 능가한다.
• 학습된 $p$와 $q$ 파라미터를 사용한 모델은 MUTAG에서 $88\pm0.7\%$의 정확도와 PROTEINS에서 $74\pm0.2\%$의 정확도를 기록하여 수동 하이퍼파라미터 검색을 뛰어넘는 성능을 보였다.
• NCI-1 데이터셋에서는 $75\pm0.6\%$의 정확도를 기록하여, PATCHY-SAN 및 GCN와 같은 최고 수준의 모델들과 유사한 성능을 보였다.
• MUTAG와 PROTEINS에서는 수동 검색보다 성능 향상을 이룬 $p$와 $q$ 값을 학습했지만, 모든 데이터셋에서 그렇지는 않아 局부적 국소 최적점에 수렴하는 것으로 나타났다.
• PiNet는 다양한 분자의 데이터셋에 대해 강건성을 보이며, 테스트한 다섯 개의 벤치마크 데이터셋에서 모두 경쟁 가능한 성능을 기록했다.
• 이론적 증명을 통해 PiNet의 출력이 입력 그래프의 노드 인덱스 순서에 대해 어떤 순열에도 불변임을 확인하였으며, 이는 입력 순서에 관계없이 일관된 표현을 보장한다.