[논문 리뷰] Convolutional Kernel Networks for Graph-Structured Data

Dexiong Chen, Laurent Jacob외 1명|arXiv (Cornell University)|2020. 03. 11.

Advanced Graph Neural Networks참고 문헌 32인용 수 19

한 줄 요약

이 논문은 그래프 구조 데이터를 다층 경로 기반 커널 특징 맵을 통해 모델링함으로써 그래프 커널 방법과 그래프 신경망(GNN)을 통합하는 새로운 프레임워크인 그래프 컨volutional 커널 네트워크(GCKN)를 소개한다. 뉴스트롬 방법을 활용한 효율적 커널 근사화를 통해 GCKN은 그래프 분류 벤치마크에서 경쟁력 있는 성능을 달성하면서도 비지도 표현 학습과 엔드 투 엔드 학습을 가능하게 하며, 모티프 발견을 통해 강력한 해석 가능성도 제공한다.

ABSTRACT

We introduce a family of multilayer graph kernels and establish new links between graph convolutional neural networks and kernel methods. Our approach generalizes convolutional kernel networks to graph-structured data, by representing graphs as a sequence of kernel feature maps, where each node carries information about local graph substructures. On the one hand, the kernel point of view offers an unsupervised, expressive, and easy-to-regularize data representation, which is useful when limited samples are available. On the other hand, our model can also be trained end-to-end on large-scale data, leading to new types of graph convolutional neural networks. We show that our method achieves competitive performance on several graph classification benchmarks, while offering simple model interpretation. Our code is freely available at https://github.com/claying/GCKN.

연구 동기 및 목표

• 그래프 커널 방법과 그래프 신경망 간 격차를 해소하기 위해 그래프 구조 데이터를 위한 다층 커널 프레임워크를 도입함.
• 경로 기반 커널 특징 맵을 사용하여 비지도, 표현력 있고 정규화 가능한 그래프 표현을 가능하게 함.
• 충분한 레이블 데이터가 제공될 경우 모델을 엔드 투 엔드 학습 가능한 GNN으로 지원함.
• 이웃 집합화에 산책(path)을 사용함으로써 Weisfeiler-Lehman 커널을 초월하는 표현력을 향상함.
• 예측에 기여하는 하위구조 패턴을 식별함으로써 모티프 기반의 설명 가능한 모델 해석 제공.

제안 방법

• 모델은 각 노드의 국소적 구조를 길이가 증가하는 경로 기반의 커널 특징 맵 시퀀스로 표현하여 하위구조 패턴을 캡처함.
• 각 레이어에서 커널 특징 맵을 근사하기 위해 뉴스트롬 방법을 사용하여 계산의 확장성 확보.
• 최종 그래프 표현은 그래프 내 모든 노드의 최종 레이어 노드 표현을 풀링하여 확보함.
• 비지도 커널 스타일 학습과 학습 가능한 필터를 갖춘 GNN로서의 엔드 투 엔드 학습을 모두 지원함.
• 이미지/시퀀스의 수신장 대신 경로 기반 수신장을 사용함으로써 컨volutional 커널 네트워크(CKNs)를 그래프로 일반화함.
• 경로 간 유사도 계산을 위한 소프트하고 미분 가능한 방법을 제공하기 위해 가우시안 커널을 사용함.

실험 결과

연구 질문

• RQ1 그래프용 다층 커널 프레임워크가 그래프 커널과 GNN의 성능을 모두 경쟁할 수 있는가?
• RQ2 집합화 과정에서 산책 대신 경로를 사용할 경우 WL 기반 방법보다 더 표현력 있는 표현을 얻을 수 있는가?
• RQ3 충분한 레이블 데이터가 있을 때 모델을 엔드 투 엔드 학습 가능한 GNN으로 효과적으로 학습시킬 수 있으며, 동시에 커널 방법의 해석 가능성도 유지할 수 있는가?
• RQ4 범주형 대비 연속형 노드 속성이 있는 데이터셋에서 모델의 성능는 어떻게 변화하는가?
• RQ5 모델은 예를 들어 유전자 변형 기능기능기를 포함한 화학적으로 의미 있는 하위구조를 그래프 분류 작업에서 식별할 수 있는가?

주요 결과

• GCKN-path는 ENZYMES 데이터셋에서 최신 기술 성능을 기록하여 테스트 정확도 75.7% ± 1.1을 달성하며, RBF-WL 및 HGK-WL를 모두 앞서나갔다.
• COX2 데이터셋에서 GCKN-3layers-unsup는 82.0% ± 0.6 정확도를 기록하여 GCKN-subtree-sup를 제외한 모든 모델보다 뛰어난 성능을 보였다.
• BZR에서 GCKN-subtree-sup는 86.4% ± 0.5 정확도를 기록하여 GNTK 모델조차도 앞서는 성능을 보였으며, 연속형 속성 그래프에서의 지도 학습 필터의 이점을 입증했다.
• 모델은 Mutagenicity 데이터셋에서 알려진 유전자 변형 하위구조인 다핵 고리 환형 탄화수소 및 NO₂ 기능기를 성공적으로 식별했다.
• GCKN-subtree-unsup는 COX2에서 81.8% ± 0.8 정확도를 기록하여 피지컬 튜닝 없이도 뛰어난 성능을 보였다.
• 다층 GCKN 변종은 경로 기반 GCKN보다 계산 복잡도가 낮았으며, 경로가 이미 예측 가능성이 높은 데이터셋에서는 경쟁력 있는 정확도를 유지했다.