[논문 리뷰] Graph Cross Networks with Vertex Infomax Pooling

Maosen Li, Siheng Chen외 2명|arXiv (Cornell University)|2020. 10. 05.

Advanced Graph Neural Networks참고 문헌 54인용 수 4

한 줄 요약

이 논문은 그래프 신경망 아키텍처인 그래프 크로스 네트워크(GXN)를 제안한다. 이는 학습 가능한 정점 인포맥스 풀링(VIPool) 메커니즘과 크로스형 특징 교차층을 통해 다중스케일 특징 학습을 포괄적으로 가능하게 한다. VIPool은 정점 특징과 이웃 특징 간 상호정보량을 최대화함으로써 정보가 풍부한 정점을 선택한다. 반면 특징 교차층은 스케일 간 정보 흐름을 향상시켜 그래프 분류에서 최신 기술 대비 평균 2.12% 향상, 정점 분류에서는 1.15% 향상된 최고 성능을 달성한다.

ABSTRACT

We propose a novel graph cross network (GXN) to achieve comprehensive feature learning from multiple scales of a graph. Based on trainable hierarchical representations of a graph, GXN enables the interchange of intermediate features across scales to promote information flow. Two key ingredients of GXN include a novel vertex infomax pooling (VIPool), which creates multiscale graphs in a trainable manner, and a novel feature-crossing layer, enabling feature interchange across scales. The proposed VIPool selects the most informative subset of vertices based on the neural estimation of mutual information between vertex features and neighborhood features. The intuition behind is that a vertex is informative when it can maximally reflect its neighboring information. The proposed feature-crossing layer fuses intermediate features between two scales for mutual enhancement by improving information flow and enriching multiscale features at hidden layers. The cross shape of the feature-crossing layer distinguishes GXN from many other multiscale architectures. Experimental results show that the proposed GXN improves the classification accuracy by 2.12% and 1.15% on average for graph classification and vertex classification, respectively. Based on the same network, the proposed VIPool consistently outperforms other graph-pooling methods.

연구 동기 및 목표

• 기존 GNN에서 고정된 스케일 특징 학습의 한계를 해결함으로써 국소적 또는 전반적인 그래프 구조를 간과할 수 있는 문제를 해결하고자 한다.
• 학습 가능한 정보 이론 기반 풀링 메커니즘을 설계하여 다중 스케일 간 효과적인 정보 흐름을 가능하게 하고자 한다.
• 최종 레이어에서만 특징을 조합하는 것이 아니라, 다양한 스케일 간 중간 특징을 융합하는 새로운 아키텍처를 개발하고자 한다.
• 정점 그룹화 또는 전역 선택 방법의 한계를 극복하기 위해 스케일 간 직접적인 정점 간 대응 관계를 제공하고자 한다.
• 다중스케일 특징 강화를 통해 그래프 분류 및 정점 분류 작업에서 뛰어난 성능을 달성하고자 한다.

제안 방법

• 정점 특징과 이웃 특징 간 상호정보량의 신경적 추정을 기반으로 정점을 선택하는 미분 가능한 그래프 풀링 방법인 정점 인포맥스 풀링(VIPool)을 제안한다.
• 상호정보량 목적함수를 사용하여 국소 그래프 구조를 가장 잘 대표하는 정점을 식별함으로써 정보가 풍부하고 구조적인 군집화를 보장한다.
• 각 네트워크 레이어에서 인접한 스케일 간 이중 방향 특징 교환을 가능하게 하는 크로스형 특징 교차층을 도입한다.
• 다중 병렬 스케일을 갖는 피라미드 구조의 GXN 아키텍처를 사용하며, 각 스케일은 그래프 컬러레이션 레이어를 사용해 그래프 특징을 처리한다.
• VIPool을 통해 그래프 풀링 및 언풀링을 지원함으로써 스케일 간 직접적인 정점 대응 관계를 확보하고 엔드 투 엔드 학습을 가능하게 한다.
• 세 가지 그래프 구조 풀링 변형—엣지 제거, 크론 감소, 클러스터 연결—을 평가하여 클러스터 연결이 정확도와 효율성의 최적 균형을 제공하는 것으로 밝혀졌다.

실험 결과

연구 질문

• RQ1 정점과 이웃 특징 간 상호정보량을 최대화하는 학습 가능한 그래프 풀링 메커니즘이 다중스케일 그래프 표현 학습에 기여하는가?
• RQ2 다중 스케일 간 중간 특징 교차가 그래프 신경망에서 후기 융합 또는 스킵 연결보다 성능 향상에 기여하는가?
• RQ3 제안된 GXN 아키텍처는 기존의 다중스케일 GNN과 비교해 그래프 및 정점 분류 작업에서 정확도와 효율성 측면에서 어떻게 성능을 내는가?
• RQ4 다양한 그래프 구조 풀링 연산(예: 엣지 제거, 크론 감소, 클러스터 연결)은 모델 성능과 학습 시간에 어떤 영향을 미치는가?
• RQ5 VIPool에서 정점의 선택 비율이 다양한 그래프 데이터셋에서 모델 정확도와 강건성에 미치는 영향은 어느 정도인가?

주요 결과

• GXN은 최신 기술 대비 그래프 분류 정확도 평균 2.12% 향상 및 정점 분류 정확도 평균 1.15% 향상된 성능을 달성한다.
• VIPool은 Cora 및 IMDB-B와 같은 다양한 데이터셋에서 다른 그래프 풀링 방법보다 뛰어난 성능을 보이며, 정보 이론 기반 정점 선택 덕분이다.
• 그래프 구조 풀링의 클러스터 연결 변형이 정확도와 계산 효율성의 최적 균형을 제공하여 엣지 제거 및 크론 감소보다 뛰어난 성능을 보였다.
• 실험 결과, 스케일 간 중간 특징 교차가 성능 향상에 크게 기여하며, 더 많은 레이어가 교차 융합에 참여할수록 성능 향상이 더 크다는 것이 확인되었다.
• 60% 미만의 정점을 선택할 경우, VIPool의 탐욕적 정점 선택 알고리즘이 Top-K 방법보다 유의미하게 높은 상호정보량(C 값)을 기록하여 더 뛰어난 선택 품질을 입증했다.
• 모델은 다양한 그래프 유형에서 뛰어난 성능 유지를 보였으며, 인용 네트워크 및 소셜 네트워크 데이터셋 모두에서 일관된 성능 향상이 관찰되었다.