[논문 리뷰] Graph Information Bottleneck

Tailin Wu, Hongyu Ren외 2명|arXiv (Cornell University)|2020. 10. 24.

Advanced Graph Neural Networks참고 문헌 52인용 수 96

한 줄 요약

그래프 정보 병목(GIB)은 그래프 표현 학습을 위한 정보 이론적 원리를 도입하여 그래프 구조와 노드 특징을 모두 압축하면서 예측 정보를 최대화하고, 두 가지 구현(GIB-Cat 및 GIB-Bern)을 통해 적대적 공격에 대해 강건한 GNN을 제공한다.

ABSTRACT

Representation learning of graph-structured data is challenging because both graph structure and node features carry important information. Graph Neural Networks (GNNs) provide an expressive way to fuse information from network structure and node features. However, GNNs are prone to adversarial attacks. Here we introduce Graph Information Bottleneck (GIB), an information-theoretic principle that optimally balances expressiveness and robustness of the learned representation of graph-structured data. Inheriting from the general Information Bottleneck (IB), GIB aims to learn the minimal sufficient representation for a given task by maximizing the mutual information between the representation and the target, and simultaneously constraining the mutual information between the representation and the input data. Different from the general IB, GIB regularizes the structural as well as the feature information. We design two sampling algorithms for structural regularization and instantiate the GIB principle with two new models: GIB-Cat and GIB-Bern, and demonstrate the benefits by evaluating the resilience to adversarial attacks. We show that our proposed models are more robust than state-of-the-art graph defense models. GIB-based models empirically achieve up to 31% improvement with adversarial perturbation of the graph structure as well as node features.

연구 동기 및 목표

• 그래프에서 표현력과 강건성의 균형을 통해 강건한 표현 학습의 동기를 제시한다.
• 그래프 구조와 특징 정보를 정규화하여 그래프-구조 데이터에 정보 병목을 확장한다.
• GIB 원리에 따른 GNN에 대해 트랙터블한 변분 상한 및 실용적 구현을 제공한다.
• 대기 및 방어 모델 대비 강건성 향상을 보이는 근거를 제시한다.

제안 방법

• 그래프 정보 병목(GIB)을 그래프의 지역 의존성 가정하에 I(D; ZX)를 최소화하면서 I(Y; ZX)를 최대화하는 방식으로 정의한다.
• GIB 목적 함수에 대한 변분 상한 및 하한을 도출하고 두 가지 샘플링 스킴으로 이를 구현한다.
• 그래프 어텐션 네트워크(GAT)에 GIB를 구현하여 두 모델(GIB-Cat(이산 이웃 샘플링) 및 GIB-Bern( Bernoulli 이웃 샘플링))을 얻는다.
• 주의 가중치를 통해 그래프 구조를 정제하고 정제된 구조에 대해 메시지 전달을 수행한다.
• AIB 및 XIB 항목과 ZX에 대한 Y의 교차 엔트로피 유사 항을 결합한 경계 기반 목적 함수로 학습한다.
• 학습 표현의 순열 불변성을 보장한다.

실험 결과

연구 질문

• RQ1 GIB가 그래프 구조 및 노드 특징에 대한 적대적 섭동에 대해 그래프 표현의 강건성을 개선할 수 있는가?
• RQ2 구조적 정보(AIB)와 특징 정보(XIB)가 GNN의 강건성에 어떻게 기여하는가?
• RQ3 GIB-Cat과 GIB-Bern이 기존 그래프 방어 모델에 비해 실용적이고 확장 가능한 방어를 제공하는가?
• RQ4 로컬 의존성 기반의 GIB를 그래프 데이터의 i.i.d. 가정 대신 사용할 때의 영향은 무엇인가?

주요 결과

• GIB-Cat 및 GIB-Bern은 Cora 및 PubMed 데이터셋에서 적대적 설정 하에 GCN 및 GAT와 비교하여 일관되게 우수한 성능을 보인다.
• 적대적 섭동 하에서 GIB 모델은 타깃 노드에서 최대 31.3%(GIB-Cat) 및 34.0%(GIB-Bern) 향상을 보이며 더 적은 섭동으로도 성능이 개선된다.
• AV-실험에서는 AIB(구조)와 XIB(특징) 모두 강건성에 기여하며 구조적 AIB가 Nettack 공격에 대해 중요한 역할을 한다는 것을 보여준다.
• GIB 모델은 특징 섭동에 대한 강건성을 보이며 노드 순열에 불변이다.
• Citeseer 데이터셋에서 GIB 방법은 데이터셋 특성의 차수 분포로 인해 GCNJaccard 같은 특정 공격에 대해 다소 낮은 성능을 보일 수 있다.