[논문 리뷰] Capsule Neural Networks for Graph Classification using Explicit Tensorial Graph Representations

Marcelo Daniel Gutierrez Mallea, Peter C. Meltzer외 1명|arXiv (Cornell University)|2019. 02. 22.

Advanced Graph Neural Networks참고 문헌 22인용 수 20

한 줄 요약

이 논문은 분류된 노드 기능을 가진 무방향 그래프의 명시적 텐서 표현을 사용하는 캡슐 신경망 모델을 제안한다. 노드 순서 정하기에 위해 베타윈스 허브리티를 활용하고, 순열 불변성을 보장하기 위해 캡슐 기반 아키텍처를 적용함으로써, 제한된 초파rameter 튜닝에도 불구하고 MUTAG 및 PTC 데이터셋에서 최신 기술(SOTA) 성능을 달성하였으며, CNN보다 우수하고, 최신 기술 그래프 커널 및 GNN들과 경쟁 가능하다.

ABSTRACT

Graph classification is a significant problem in many scientific domains. It addresses tasks such as the classification of proteins and chemical compounds into categories according to their functions, or chemical and structural properties. In a supervised setting, this problem can be framed as learning the structure, features and relationships between features within a set of labelled graphs and being able to correctly predict the labels or categories of unseen graphs. A significant difficulty in this task arises when attempting to apply established classification algorithms due to the requirement for fixed size matrix or tensor representations of the graphs which may vary greatly in their numbers of nodes and edges. Building on prior work combining explicit tensor representations with a standard image-based classifier, we propose a model to perform graph classification by extracting fixed size tensorial information from each graph in a given set, and using a Capsule Network to perform classification. The graphs we consider here are undirected and with categorical features on the nodes. Using standard benchmarking chemical and protein datasets, we demonstrate that our graph Capsule Network classification model using an explicit tensorial representation of the graphs is competitive with current state of the art graph kernels and graph neural network models despite only limited hyper-parameter searching.

연구 동기 및 목표

• 변동하는 크기와 노드 수를 가진 그래프를 지도 학습 설정에서 분류하는 문제에 대응하기 위해.
• 캡슐 네트워크의 동적 라우팅 메커니즘을 활용하여 그래프 분류에서 순열 불변성을 향상시키기 위해.
• 다양한 노드 레이블링 전략을 사용하여 그래프 구조에서 유도된 명시적 텐서 표현의 효과를 평가하기 위해.
• 표준 화학 및 단백질 데이터셋에서 제안된 모델을 최신 기술 그래프 커널 및 GNN들과 비교 평가하기 위해.
• 캡슐 네트워크가 CNN보다 더 강건하고 분리된 그래프 표현을 학습할 수 있는지 조사하기 위해.

제안 방법

• 노드가 Betweenness Centrality 또는 NAUTY 표준 레이블링을 통해 순서가 매겨진 패치 기반 접근 방식을 사용하여 각 그래프에서 고정 크기의 텐서 표현을 추출한다.
• 각 그래프는 부분 그래프(패치)로 분할되며, 노드 기능은 학습 가능한 임베딩 레이어를 사용하여 텐서로 인코딩된다.
• 캡슐 네트워크는 텐서 표현을 처리하며, 주요 캡슐이 공간적 관계를 캐치하고, 라우팅-에이그리먼트를 통해 등변 특징 학습이 가능하다.
• 주요 캡슐과 그래프 캡슐 간의 동적 라우팅은 관련 구조적 패턴에 주의를 집중시켜 일반화 능력을 향상시킨다.
• 최종 캡슐 레이어는 각 그래프당 벡터를 출력하며, 소프트맥스 레이어를 통해 분류에 사용된다.
• 모델은 조기 정지와 가중치 감소를 사용한 교차 엔트로피 손실을 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 명시적 텐서 그래프 표현에 적용했을 때, 캡슐 네트워크가 그래프 분류에 대해 순열 불변 표현을 효과적으로 학습할 수 있는가?
• RQ2 노드 레이블링 절차 선택(베타윈스 허브리티 대비 NAUTY)이 캡슐 기반 그래프 분류기 성능에 어떤 영향을 미치는가?
• RQ3 노드 수와 간선 수가 다양할 때, 캡슐 네트워크가 표준 CNN보다 그래프 분류에서 더 우수한 성능을 내는가?
• RQ4 특징 분리 및 군집화 측면에서, 캡슐 네트워크의 표현 능력이 CNN 및 그래프 커널과 비교해 어떻게 되는가?
• RQ5 제한된 초파라미터 튜닝이 높은 노드 기능 기수성(카디널리티)을 가진 데이터셋에서 모델의 성능을 어느 정도 제한하는가?

주요 결과

• 캡슐 네트워크는 모든 일곱 개인 벤치마크 데이터셋에서 CNN 베이스라인을 초월하였으며, MUTAG 및 PTC에서 통계적으로 유의미한 향상이 있었다.
• Betweenness Centrality를 사용한 노드 순서 정렬이 NAUTY 표준 레이블링보다 여섯 개의 데이터셋에서 더 우수한 성능을 보였다.
• MUTAG 및 PTC 데이터셋에서 최신 기술(SOTA) 분류 정확도를 달성하였으며, 현재의 SOTA 그래프 커널 및 GNN들을 능가하였다.
• t-SNE 픝그램에서 더 나은 시각적 군집화가 관찰되었음에도 불구하고, CNN의 중간 표현은 캡슐 네트워크의 표현보다 정확도가 떨어졌으며, 이는 캡슐 라우팅이 결정 경계를 향상시킨다는 것을 시사한다.
• 캡슐 네트워크는 더 높은 파라미터 수와 라우팅 복잡성으로 인해 약 8배 정도 CNN보다 느렸다.
• 높은 노드 기능 기수성을 가진 데이터셋에서의 성능은 경쟁력이 떨어졌으며, 이는 초파라미터 튜닝을 확장하거나 하이브리드 레이블링 전략을 도입함으로써 향상 가능할 수 있음을 시사한다.