[논문 리뷰] Recognizing Predictive Substructures with Subgraph Information Bottleneck

Junchi Yu, Tingyang Xu외 4명|arXiv (Cornell University)|2021. 03. 20.

Advanced Graph Neural Networks참고 문헌 50인용 수 7

한 줄 요약

이 논문은 서브그래프 수준의 애너테이션을 필요로 하지 않고, 그래프 구조 데이터에서 예측 가능하고 압축된 서브그래프를 식별하기 위한 새로운 서브그래프 정보 볼타주(기본) 프레임워크(SIB)를 제안한다. 이중 최적화, 상호정보량 추정, 연결성 정규화를 통한 연속적 리파라미터라이제이션을 조합함으로써, SIB는 약한 지도 학습 기반의 서브그래프 탐색을 가능하게 하여 분자의 다양한 데이터셋과 3D 포인트 클러스터 데이터셋에서 그래프 분류, 해석 가능성, 노이즈 제거 성능을 향상시킨다.

ABSTRACT

The emergence of Graph Convolutional Network (GCN) has greatly boosted the progress of graph learning. However, two disturbing factors, noise and redundancy in graph data, and lack of interpretation for prediction results, impede further development of GCN. One solution is to recognize a predictive yet compressed subgraph to get rid of the noise and redundancy and obtain the interpretable part of the graph. This setting of subgraph is similar to the information bottleneck (IB) principle, which is less studied on graph-structured data and GCN. Inspired by the IB principle, we propose a novel subgraph information bottleneck (SIB) framework to recognize such subgraphs, named IB-subgraph. However, the intractability of mutual information and the discrete nature of graph data makes the objective of SIB notoriously hard to optimize. To this end, we introduce a bilevel optimization scheme coupled with a mutual information estimator for irregular graphs. Moreover, we propose a continuous relaxation for subgraph selection with a connectivity loss for stabilization. We further theoretically prove the error bound of our estimation scheme for mutual information and the noise-invariant nature of IB-subgraph. Extensive experiments on graph learning and large-scale point cloud tasks demonstrate the superior property of IB-subgraph.

연구 동기 및 목표

• GCN 성능과 이해 가능성에 악영향을 미치는 그래프 데이터의 노이즈와 중복 문제를 해결하기 위해.
• 그래프 수준의 예측을 위한 필수적인 구조적 정보를 유지하면서도 예측 가능하고 압축된 서브그래프를 발견하기 위해.
• 명시적인 서브그래프 애너테이션 없이도 약한 지도 학습 방식으로 서브그래프 인식을 가능하게 하기 위해.
• 이질적인 그래프 데이터에서 이산적 서브그래프 선택을 위한 미분 가능하고 안정적인 최적화 기법을 개발하기 위해.
• 그래프 분류, 약물 발견, 3D 오브제트 분석에 적용 가능한 이해 가능하고 노이즈에 강인한 서브구조 탐색 방법을 제공하기 위해.

제안 방법

• 정보 볼타주 원리에 기반한 새로운 서브그래프 정보 볼타주(SIB) 프레임워크를 제안하여, 서브그래프 수준의 압축을 추구하면서도 예측 능력을 유지한다.
• 서브그래프 선택과 모델 파라미터를 동시에 최적화하기 위해 이중 최적화 기반의 최적화 기법을 도입하여 엔드 투 엔드 학습을 가능하게 한다.
• 이질적인 그래프에 특화된 상호정보량 추정기법을 도입하여 정보 볼타주 목적함수를 근사한다.
• 이산적 서브그래프 선택 과정을 연속적 리파라미터라이제이션으로 변환하여 기울기 기반 최적화를 가능하게 한다.
• 학습 안정성을 향상시키고 밀집된 연결된 서브그래프를 유도하기 위해 연결성 손실를 도입한다.
• 서브그래프 선택의 이론적 오차 한계와 IB-서브그래프의 노이즈 강인성을 증명하여, 그 안정성과 타당성을 입증한다.

실험 결과

연구 질문

• RQ1 서브그래프 애너테이션이 없이도 그래프 수준 분류에 있어 작고 정보가 풍부한 예측 가능한 서브그래프를 탐색할 수 있는가?
• RQ2 서로정보량 계산이 불가능하고 선택 과정이 이산적인 이질적인 그래프에서 서브그래프 선택 목적함수를 어떻게 최적화할 수 있는가?
• RQ3 제안된 SIB 프레임워크는 그래프 학습 과제에서 모델의 이해 가능성과 강건성에 얼마나 기여하는가?
• RQ4 다양한 무작위 초기화와 데이터셋 간에 서브그래프 선택이 얼마나 안정적인가?
• RQ5 SIB 프레임워크는 다양한 그래프 학습 및 3D 구조 추출 과제에 일반화 가능한가?

주요 결과

• SIB 프레임워크는 QED, DRD2, HLM-CLint, MLM-CLint 등 다양한 벤치마크에서 그래프 분류 성능이 최첨단 기준을 초월한다.
• QED 데이터셋에서 SIB는 평균 49.6%의 크기(±15.0%)를 가진 서브그래프를 선택했으며, 다섯 번의 무작위 실행에서 높은 예측 정확도와 강건성을 유지했고, 모든 노드에 대한 IoU 점수는 0.848(±0.163), 가장 큰 연결 성분에 대한 점수는 0.779(±0.330)였다.
• DRD2 데이터셋에서는 전체 분자의 구조에 의존하는 임상적 특성에 따라 94.8%의 크기(±5.3%)를 가진 매우 관련성이 높은 서브그래프를 식별했다.
• 연결성 손실는 학습 안정성을 향상시키고, 최소한의 하이퍼파라미터 α(1, 3, 5, 10) 민감도를 보이며 밀집된 연결된 서브그래프를 생성한다.
• 작은 기능적 모티프가 필요한 과제에서 SIB는 어텐션 기반 베이스라인(GCN+Att05, GCN+Att07)보다 서브그래프 크기 적응성과 예측 성능에서 뛰어난 성능을 보였다.
• 이론적 분석을 통해 상호정보량 추정기의 오차 한계를 확인하고 IB-서브그래프의 노이즈 강인성을 입증하여, 그 강건성을 검증했다.