[논문 리뷰] Discriminative structural graph classification

Younjoo Seo, Andreas Loukas외 1명|arXiv (Cornell University)|2019. 05. 31.

Advanced Graph Neural Networks참고 문헌 33인용 수 11

한 줄 요약

이 논문은 구조적 그래프 분류에서 일반화를 향상시키기 위해 합과 히스토그램 기반 집약 함수를 사용하여 제한된 분류 능력을 갖춘 그래프 신경망을 제안한다. 계층적 노드 및 그래프 임베딩 네트워크를 랜덤 샘플링과 one-hot 노드 표현 방식과 결합함으로써, 14개의 베이스라인( WL 커널 및 GNN 포함)을 초월하는 최신 기술 성능을 9개의 벤치마크 데이터셋에서 달성한다.

ABSTRACT

This paper focuses on the discrimination capacity of aggregation functions: these are the permutation invariant functions used by graph neural networks to combine the features of nodes. Realizing that the most powerful aggregation functions suffer from a dimensionality curse, we consider a restricted setting. In particular, we show that the standard sum and a novel histogram-based function have the capacity to discriminate between any fixed number of inputs chosen by an adversary. Based on our insights, we design a graph neural network aiming, not to maximize discrimination capacity, but to learn discriminative graph representations that generalize well. Our empirical evaluation provides evidence that our choices can yield benefits to the problem of structural graph classification.

연구 동기 및 목표

• 그래프 신경망에서 분류 능력과 일반화 사이의 상충 관계를 해결하기 위해.
• 임의의 고정 크기 입력 집합을 식별할 수 있는 제한된 단사성(Injectivity)을 갖는 집약 함수를 설계하기 위해.
• 최대 분류 능력이 아닌 일반화를 우선시하는 GNN 아키텍처를 개발하기 위해.
• 히스토그램 기반 집약과 샘플링 기반 풀링의 구조적 그래프 분류에서의 효과를 평가하기 위해.
• 실제 GNN 성능가 이론적 단사성 가정 기반 이론적 한계를 초월할 수 있음을 입증하기 위해.

제안 방법

• 노드 임베딩 네트워크 이후 랜덤으로 선택된 노드 임베딩 하위집합을 처리하는 그래프 임베딩 네트워크로 구성된 이중 단계 아키텍처를 사용한다.
• 일반적인 근사기능 이후 히스토그램 기반 집약 함수를 적용하여 제한된 단사성을 보장한다.
• 노드 임베딩의 랜덤 샘플링(재사용 허용)을 적용하여 계산량을 줄이고 모델의 암묵적 정규화를 유도한다.
• 노드의 구조적 역할를 인코딩하기 위해 노드 임베딩 네트워크의 입력으로 one-hot 표현을 사용한다.
• 전역 집약 이전에 노드 임베딩에 그래프 컨볼루션 레이어를 적용하여 공간 분포 패턴을 포착한다.
• 10개의 샘플링 실현을 평균 내어 테스트 시의 변동성을 제어한다.

실험 결과

연구 질문

• RQ1 제한된 분류 능력을 갖는 집약 함수가 최대 단사성의 함수보다 더 잘 일반화할 수 있는가?
• RQ2 히스토그램 기반 집약은 파rameter 수를 줄이면서도 합 집약과 동일한 분별 능력을 갖출 수 있는가?
• RQ3 노드 임베딩의 랜덤 샘플링이 일반화를 향상시키고 과적합을 줄일 수 있는가?
• RQ4 제안된 GNN은 구조적 그래프 분류에서 최신 기술의 그래프 커널 및 GNN과 비교해 어떻게 성능을 내는가?
• RQ5 이론적 단사성 한계가 실질적인 GNN 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• 제안된 GNN은 9개의 벤치마크 데이터셋에서 경쟁력 있는 정확도를 달성하며, 6개의 그래프 커널과 8개의 GNN 포함 총 14개의 베이스라인을 빛나게 한다.
• Weisfeiler-Lehman 그래프 커널을 초월하여, 단사성 집약이 고성능을 위해 필수적이라는 가정에 도전한다.
• 히스토그램 기반 집약은 파rameter 수를 줄이면서도 합 집약과 유사한 분별 능력을 달성한다.
• 노드 임베딩의 랜덤 샘플링은 계산량을 줄이고 일반화를 향상시키며, 작은 그래프에서는 전체 집합 집약을 초월하는 성능도 기록한다.
• 모델의 성능은 여러 샘플링 실현에 대해 안정적이며, 10회 반복 평균을 통해 테스트 시 변동성이 제어된다.
• 이론적 분석을 통해 단사성 집약 함수는 차원의 폭발 문제를 야기하여 실세계 일반화에 실용적이지 않음을 확인한다.