[논문 리뷰] Graph Homomorphism Convolution

Hoang Nt, Takanori Maehara|arXiv (Cornell University)|2020. 05. 03.

Advanced Graph Neural Networks참고 문헌 46인용 수 5

한 줄 요약

이 논문은 그래프 분류를 위한 새로운 방법인 그래프 호모모르피즘 컨볼루션(GHC)을 소개한다. 이 방법은 패턴 그래프의 가족 𝒮로부터의 호모모르피즘 수를 사용하여 불변이며 표현력 있는 임베딩을 생성한다. 이는 𝒮-불변 함수를 근사하는 데 있어 보편성을 증명하고, 특히 𝒮의 트리 폭이 유계인 경우 기존 GNN보다 훨씬 빠른 추론 속도를 보이며 벤치마크 데이터셋에서 최고 성능을 기록한다.

ABSTRACT

In this paper, we study the graph classification problem from the graph homomorphism perspective. We consider the homomorphisms from $F$ to $G$, where $G$ is a graph of interest (e.g. molecules or social networks) and $F$ belongs to some family of graphs (e.g. paths or non-isomorphic trees). We show that graph homomorphism numbers provide a natural invariant (isomorphism invariant and $\mathcal{F}$-invariant) embedding maps which can be used for graph classification. Viewing the expressive power of a graph classifier by the $\mathcal{F}$-indistinguishable concept, we prove the universality property of graph homomorphism vectors in approximating $\mathcal{F}$-invariant functions. In practice, by choosing $\mathcal{F}$ whose elements have bounded tree-width, we show that the homomorphism method is efficient compared with other methods.

연구 동기 및 목표

• 그래프 호모모르피즘 수를 기반으로 하여 매개변수 조절이 가능한 인식 편향을 가진 실용적이고 이론적으로 탄탄한 그래프 분류 방법을 개발한다.
• 텐서화된 모델 등 이론적으로 보편적인 근사기인 반면 실용적인 모델(예: GNN)은 부족한 표현력을 보이는 격차를 메우기 위해, 표현력이 패턴 그래프 𝒮의 선택에 명시적으로 제어되는 방법을 제안한다.
• 스톤-바이어슈트라스 정리를 활용하여 호모모르피즘 기반 임베딩의 표현력에 대한 이론적 기반을 확립한다.
• 합성 및 벤치마크 데이터셋에서의 실험적 검증을 통해 기존 GNN보다 뛰어난 성능과 효율성을 입증한다.
• 호모모르피즘 기반 특징이 1-WL 및 기타 GNN이 구분하지 못하는 그래프(예: 공스펙트럼 또는 동형 그래프)를 구분할 수 있음을 보여준다.

제안 방법

• 고정된 패턴 그래프 가족 𝒮로부터 타겟 그래프 G로의 호모모르피즘 수를 계산하여 벡터 임베딩 ρ(G) ∈ ℝ^|𝒮|를 구성한다.
• 𝒮의 원소들이 트리 폭이 유계이도록 선택함으로써, 호모모르피즘 수의 다항식 시간 계산이 가능해진다.
• 임베딩은 그래프 동형에 대해 불변이므로, 동형인 그래프는 동일한 표현을 갖는다.
• 이 접근법은 스톤-바이어슈트라스 정리를 활용하여, 유계 크기의 그래프에서 연속적인 𝒮-불변 함수를 호모모르피즘 벡터가 보편적으로 근사할 수 있음을 증명한다.
• 정점 특징이 있는 그래프의 경우, 호모모르피즘 계산에 특징에 의존하는 가중치를 확장하여 포함한다.
• 트리 분해를 기반으로 한 동적 프로그래밍을 사용하여 효율적으로 구현함으로써, 트리 폭이 유계일 경우 선형 또는 다항식 시간 내에 계산이 가능해진다.

실험 결과

연구 질문

• RQ1 패턴 그래프 가족에서의 호모모르피즘 수가 그래프 분류를 위한 보편적, 불변적, 효율적인 임베딩으로 기능할 수 있는가?
• RQ2 호모모르피즘 임베딩의 표현력은 패턴 가족 𝒮의 선택에 따라 어떻게 달라지는가?
• RQ3 호모모르피즘 기반 임베딩은 1-WL 및 기타 GNN이 구분하지 못하는 그래프를 구분할 수 있는가?
• RQ4 호모모르피즘 방법의 계산 효율성은 트리 폭이 큰 복잡한 그래프에서 최고 성능을 보이는 GNN들과 비교해 볼 때 어떻게 되는가?
• RQ5 호모모르피즘 벡터는 𝒮-동형에 대해 불변인 임의의 연속 함수를 근사할 수 있으며, 이러한 조건은 무엇인가?

주요 결과

• 호모모르피즘 벡터는 원형 스킵 링크(CSL) 데이터셋에서 100%의 정확도를 달성했고, GIN, 관계 기반 풀링, 순서 2 G-불변 모델은 제한된 표현력으로 인해 성능이 10%에서 80% 사이로 크게 변동하였다.
• MUTAG, IMDB-BINARY, IMDB-MULTI 벤치마크 데이터셋에서 GHC는 GNN들과 비교해 경쟁적 또는 뛰어난 정확도를 기록했으며, 변동성이 낮고 추론 시간이 빠르다.
• GHC의 런타임은 다른 실용적인 GNN 모델보다 훨씬 빠르며, 선형 확장성과 병렬 처리 가능성을 보여주었다.
• 이론적 분석을 통해, 약간의 위상적 가정 하에 유계 크기의 그래프에서 연속적인 𝒮-불변 함수를 호모모르피즘 벡터가 보편적으로 근사할 수 있음을 증명했다.
• 이 방법의 보편성 결과는 호모모르피즘 수를 계산할 수 있는 임의의 모델로 확장 가능하므로, GHC는 그래프 학습에서 표현력의 기초 기준이 될 수 있음을 시사한다.