[논문 리뷰] Improving Subgraph Recognition with Variational Graph Information Bottleneck

Junchi Yu, Jie Cao외 1명|arXiv (Cornell University)|2021. 12. 18.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 변동형 그래프 정보 복도(VGIB)를 제안하며, 문제를 그래프 흐름과 부분그래프 선택으로 재구성함으로써 훈련 안정성과 성능을 향상시키는 새로운 프레임워크이다. 학습 가능한 입력에 특화된 노이즈를 도입하고 변동형 상한을 사용함으로써, 효율적이고 안정적인 최적화를 가능하게 하며, 기존 방법보다 더 정보가 풍부하고 압축된 부분그래프를 발견한다. 이는 그래프 분류, GNN 설명 가능성 및 해석 작업에서 뛰어난 성능을 달성한다.

ABSTRACT

Subgraph recognition aims at discovering a compressed substructure of a graph that is most informative to the graph property. It can be formulated by optimizing Graph Information Bottleneck (GIB) with a mutual information estimator. However, GIB suffers from training instability and degenerated results due to its intrinsic optimization process. To tackle these issues, we reformulate the subgraph recognition problem into two steps: graph perturbation and subgraph selection, leading to a novel Variational Graph Information Bottleneck (VGIB) framework. VGIB first employs the noise injection to modulate the information flow from the input graph to the perturbed graph. Then, the perturbed graph is encouraged to be informative to the graph property. VGIB further obtains the desired subgraph by filtering out the noise in the perturbed graph. With the customized noise prior for each input, the VGIB objective is endowed with a tractable variational upper bound, leading to a superior empirical performance as well as theoretical properties. Extensive experiments on graph interpretation, explainability of Graph Neural Networks, and graph classification show that VGIB finds better subgraphs than existing methods. Code is avaliable at https://github.com/Samyu0304/VGIB

연구 동기 및 목표

• 신뢰할 수 없는 상호정보량 추정으로 인해 부분그래프 인식에서 그래프 정보 복도(GIB)의 훈련 불안정성과 낮은 성능 문제를 해결한다.
• 정확한 상호정보량 추정과 수렴 문제로 인해 최적화 과정에 한계를 가진 GIB의 한계를 극복한다.
• 레이블과 관련된 정보를 유지하면서도 압축된 정보가 풍부한 부분그래프를 식별하기 위한 더 안정적이고 효율적인 프레임워크를 개발한다.
• 생물화학 및 사회망 분석과 같은 실생활 응용 분야에서 부분그래프 인식의 실용적 구현을 가능하게 한다.
• 더 나은 부분그래프 설명을 통해 그래프 신경망 예측의 신뢰성과 해석 가능성성을 향상시킨다.

제안 방법

• 부분그래프 인식 문제를 두 단계로 재구성한다: 노이즈 주입을 통한 그래프 흐름과 노이즈 제거를 통한 부분그래프 선택.
• 각 입력 그래프에 맞는 맞춤형 정규분포를 사용해 학습 가능한 입력에 특화된 노이즈 사전을 도입함으로써, 미분 가능한 최적화를 가능하게 한다.
• 노이즈 주입의 이산 행동 공간을 다루기 위해 Gumbel-Softmax 재구성 기법을 활용하여 기울기 기반 최적화를 가능하게 한다.
• 상호정보량 목표에 대해 계산 가능한 변동형 상한을 제안하여, 계산이 불가능한 GIB 최적화를 안정적이고 미분 가능한 대체 목표로 대체한다.
• 노이즈로 압축되고 정보가 풍부한 중간 표현으로서의 흐름된 그래프를 사용하여, 노이즈 주입이 필수적이지 않은 하위구조에만 영향을 주도록 유도한다.
• 최종 부분그래프를 노이즈 주입을 제거함으로써 추출하여, 입력 그래프의 정보가 풍부하고 노이즈가 적은 구성요소만 유지한다.

실험 결과

연구 질문

• RQ1 변동형 그래프 정보 복도(GIB) 목표에 대한 근사화가 부분그래프 인식에서 훈련 안정성과 성능을 향상시키는가?
• RQ2 어떻게 노이즈 주입을 미분 가능하고 비용 효율적으로 하여 그래프 내 필수적이지 않은 하위구조를 식별할 수 있는가?
• RQ3 맞춤형 입력에 특화된 노이즈 사전이 균일하거나 무작위 노이즈 주입보다 더 나은 부분그래프 탐색을 이끌어내는가?
• RQ4 제안된 VGIB 프레임워크가 그래프 신경망 예측에 대한 설명의 정확성에 얼마나 기여하는가?
• RQ5 발견된 부분그래프가 후행 그래프 분류 모델의 성능을 향상시키는가?

주요 결과

• VGIB는 GIB보다 훨씬 더 빠르고 안정적인 훈련을 달성하며, 10배 미만의 훈련 스텝 내에서 수렴을 보였다.
• MUTAG, PROTEINS, DD, IMDB-BINARY, REDDIT-BINARY, COLLAB 등의 그래프 분류 벤치마크에서, VGIB는 정보가 풍부하고 압축된 부분그래프를 발견함으로써 기준 GNN 성능을 향상시켰다.
• GNN 설명 가능성 작업에서, VGIB는 다양한 희박성 수준에서 최고의 Fidelity+ 점수(최대 0.82)와 최저의 Fidelity− 점수(최소 0.18)를 기록하여 모델 예측에 대한 뛰어난 정확성과 신뢰성을 입증했다.
• 모든 평가된 데이터셋과 작업에서, 그래프 해석 및 설명 가능성 분야에서 기존 방법보다 VGIB가 부분그래프 탐색에서 뛰어난 성능을 보였다.
• 기본 GIB 기반 접근법 대비 최적화 시간을 10배 이상 단축시켜 실용적 구현을 가능하게 했다.
• 제거 실험을 통해 입력에 특화된 노이즈 사전과 Gumbel-Softmax 재구성 기법이 최적 성능을 내기 위해 필수적임을 확인했다.