[논문 리뷰] Universal Function Approximation on Graphs

Rickard Brüel‐Gabrielsson|arXiv (Cornell University)|2020. 03. 14.

Topological and Geometric Data Analysis인용 수 7

한 줄 요약

이 논문은 다가치 함수와 단사 성질을 갖는 함수를 사용하여 그래프 이소모르피즘 클래스에서 보편적인 함수 근사 프레임워크를 제안한다. 이는 네 가지 벤치마크 데이터셋에서 그래프 분류 작업에서 최신 기술 성능을 달성한다. 방법론은 영구 호모로지와 트리-LSTM 기반 아키텍처를 활용하여 O(|edges| × |nodes|) 복잡도를 가지는 이소모르피즘 불변 표현을 달성하며, 기존 방법들보다 비이소모르픽 그래프를 더 잘 구분한다.

ABSTRACT

In this work we produce a framework for constructing universal function approximators on graph isomorphism classes. We prove how this framework comes with a collection of theoretically desirable properties and enables novel analysis. We show how this allows us to achieve state-of-the-art performance on four different well-known datasets in graph classification and separate classes of graphs that other graph-learning methods cannot. Our approach is inspired by persistent homology, dependency parsing for NLP, and multivalued functions. The complexity of the underlying algorithm is O(#edges x #nodes) and code is publicly available (https://github.com/bruel-gabrielsson/universal-function-approximation-on-graphs).

연구 동기 및 목표

• 그래프 이소모르피즘 클래스에서 보편적인 함수 근사 프레임워크를 이론적으로 탄탄하게 개발하는 것.
• 통제된 중복성을 갖는 다가치 함수를 사용하여 단사 그래프 표현의 한계를 극복하는 것.
• 이론적 보장을 유지하면서 그래프 분류 작업에서 최신 기술 성능을 달성하는 것.
• 비이소모르픽 그래프를 구분할 수 있는 확장 가능하고 학습 가능한 표현을 제공하는 것

제안 방법

• 비이소모르픽 그래프에 대해 서로 다른 표현을 보장하는 이소-단사 성질을 갖는 그래프 이소모르피즘 클래스 위의 다가치 함수를 사용한다.
• 그래프를 부분그래프로 계층적으로 분해한 후, 정렬 기반 인코딩을 통해 중복을 감소시킨다.
• 트리-LSTM와 게이트드 순환 단위를 사용하여 부분그래프 표현을 학습 가능한 메모리 상태로 인코딩한다.
• 모 bord, 간선 및 노드 정렬, 부분그래프 분해, 신경망 리더아웃을 조합한 새로운 알고리즘 파이프라인을 도입하여 보편적 근사를 달성한다.
• 잔차 연결과 배치 정규화를 사용한 신경망 리더아웃을 통해 부분그래프 특징을 글로벌 그래프 임베딩으로 집계한다.
• 각 이소모르피즘 클래스당 동일한 표현 수를 분석하고 통제하기 위해 클래스 중복성 한계를 적용한다.

실험 결과

연구 질문

• RQ1 이소-단사 성질을 갖는 다가치 함수가 그래프에서 보편적 함수 근사의 기초가 될 수 있는가?
• RQ2 그래프 이소모르피즘, 캐논라이제이션, 보편적 함수 근사 간의 이론적 관계는 무엇인가?
• RQ3 확장 가능하고 학습 가능한 그래프 표현이 유한 그래프에서 보편적 근사를 달성할 수 있는가?
• RQ4 제안된 방법이 기존 그래프 신경망 및 영구 호모로지 접근법보다 그래프 분류에서 어떻게 우월한가?
• RQ5 클래스 중복성과 정렬 순서는 모델 일반화 및 훈련 안정성에 어떤 영향을 미치는가?

주요 결과

• 제안된 프레임워크는 MUTAG, PTC, PROTEINS, NCI1의 네 가지 벤치마크 그래프 분류 데이터셋에서 최신 기술 성능을 달성한다.
• 기존 그래프 학습 프레임워크가 분리하지 못하는 비이소모르픽 그래프를 성공적으로 구분한다.
• 알고리즘은 O(|edges| × |nodes|) 시간 내에 실행되어 실세계 그래프 학습 응용에 실용적이다.
• 클래스 중복성은 O((t1,1!)...(t1,l1!)(t2,1!)...(tk,lk!)(2p))로 유계이며, 부분그래프의 동일성 제거를 통해 더 견고한 한계를 달성할 수 있다.
• 제어된 단사성을 갖는 다가치 함수로 간주함으로써 그래프 표현을 새롭게 분석할 수 있다.
• 실험 결과 정렬 기반 인코딩을 통해 노드 순서에 대한 민감도가 감소하여 훈련 중 과적합이 줄어든다.