[논문 리뷰] iPool -- Information-based Pooling in Hierarchical Graph Neural Networks

Xing Gao, Hongkai Xiong외 1명|arXiv (Cornell University)|2019. 07. 01.

Advanced Graph Neural Networks참고 문헌 30인용 수 12

한 줄 요약

이 논문은 계층적 그래프 신경망을 위한 파rameter-free이고 정보 기반인 iPool를 제안한다. iPool는 이웃 정보 수익을 기반으로 노드를 선택하여 그래프의 구조와 신호 내용을 유지한다. 조건부 엔트로피를 활용해 노드의 정보성과 국소 예측을 모델링함으로써, 더 빠른 수렴과 그래프 이소모르피즘 불변성을 확보하면서도 그래프 분류 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

With the advent of data science, the analysis of network or graph data has become a very timely research problem. A variety of recent works have been proposed to generalize neural networks to graphs, either from a spectral graph theory or a spatial perspective. The majority of these works however focus on adapting the convolution operator to graph representation. At the same time, the pooling operator also plays an important role in distilling multiscale and hierarchical representations but it has been mostly overlooked so far. In this paper, we propose a parameter-free pooling operator, called iPool, that permits to retain the most informative features in arbitrary graphs. With the argument that informative nodes dominantly characterize graph signals, we propose a criterion to evaluate the amount of information of each node given its neighbors, and theoretically demonstrate its relationship to neighborhood conditional entropy. This new criterion determines how nodes are selected and coarsened graphs are constructed in the pooling layer. The resulting hierarchical structure yields an effective isomorphism-invariant representation of networked data in arbitrary topologies. The proposed strategy is evaluated in terms of graph classification on a collection of public graph datasets, including bioinformatics and social networks, and achieves state-of-the-art performance on most of the datasets.

연구 동기 및 목표

• 계층적 표현을 압축할 수 있는 효과적이고 일반화 가능한 풀링 연산자가 부족한 문제를 해결하기 위해.
• 임의의 그래프 구조에서 구조적 정보와 신호 기반 정보를 모두 유지할 수 있는 풀링 메커니즘을 설계하기 위해.
• 재학습이 필요 없이 다양한 그래프 구조에 적응할 수 있는 파rameter-free이고 이소모르피즘 불변 풀링 전략을 개발하기 위해.
• 정보 이론 기반의 노드 선택을 통해 그래프를 굴곡시켜 다중 척도 표현 학습을 효과적으로 가능하게 하기 위해.

제안 방법

• 이 방법은 조건부 엔트로피를 기반으로 이웃 노드 정보를 고려할 때 특정 노드가 제공하는 정보의 양을 측정하는 이웃 정보 수익 기준 γ(v)를 도입한다.
• k-호프 이웃을 활용해 이웃 노드의 신호로부터 노드의 신호를 예측하는 방식을 정의함으로써 정보 수익의 국소적 계산을 가능하게 한다.
• γ(v) 값이 높을수록 더 정보가 많은 노드로 선택하여 그래프 굴곡을 수행한다.
• 선택된 노드의 특징을 집계함으로써 원본 그래프와 위상 일관성을 유지하는 굴곡된 그래프를 구성한다.
• 전역 및 국소 풀링 전략을 모두 지원하여 구조 보존과 정보 집합 간의 트레이드오프를 가능하게 한다.
• 풀링 연산은 파rameter-free이며 그래프 이소모르피즘에 대해 불변하여, 이소모르픽 그래프 간 일관된 표현을 보장한다.

실험 결과

연구 질문

• RQ1 이웃 노드를 고려할 때 그래프 내 개별 노드의 정보 내용을 어떻게 정의하고 측정할 수 있는가?
• RQ2 구조적 및 신호 기반 정보를 유지하면서도 파rameter-free로 그래프를 굴곡시키는 효과적인 전략은 무엇인가?
• RQ3 정보 이론 기반의 풀링 메커니즘이 기존의 풀링 방법보다 그래프 분류 작업에서 뛰어난 성능을 내는가?
• RQ4 이웃의 깊이(k) 선택이 풀링 연산의 성능에 어떤 영향을 미치는가?
• RQ5 제안된 풀링 전략은 계층적 GNN에서 수렴성과 일반화 능력을 어느 정도 향상시키는가?

주요 결과

• iPool는 10개의 공개 그래프 분류 데이터셋 중 9개에서 최신 기술 수준의 성능을 달성했으며, GNN 기반 및 커널 기반 방법을 모두 능가한다.
• 국소 풀링 전략이 전역 전략보다 항상 뛰어나며, 다양한 이웃에서 노드를 선택함으로써 국소 그래프 구조를 더 잘 보존하기 때문이다.
• SET2SET와 DIFFPOOL보다 수렴 속도가 현저히 빠르며, 훈련 속도에서 iPool은 SET2SET보다 7배 빠르고, DIFFPOOL보다 1.1배 빠르다.
• 절단 분석 결과, iPool은 특히 다수의 풀링 레이어를 포함한 깊은 아키텍처에서 분류 정확도를 향상시키고 수렴 속도를 가속화함을 확인했다.
• 예측 함수에서 최적의 히프 수(k)는 그래프 밀도와 상관관계가 있으며, 희박한 그래프일수록 최적 성능을 내기 위해 더 큰 k가 필요하다.
• REDDIT-MULTI-12K 데이터셋에서 iPool-2는 iPool-1보다 略적으로 성능이 열 劣하나, 과도한 굴곡과 단순화된 노드 신호로 인한 과적합 때문일 것이다.