[논문 리뷰] Uncertainty-aware Attention Graph Neural Network for Defending Adversarial Attacks

Boyuan Feng, Yuke Wang외 2명|arXiv (Cornell University)|2020. 09. 22.

Advanced Graph Neural Networks참고 문헌 32인용 수 5

한 줄 요약

이 논문은 베이지안 추론과 주의 메커니즘을 사용하여 모델 불확실성과 데이터 불확실성을 명시적으로 모델링하는 새로운 불확실성 인식 그래프 신경망 방어 기법인 UAG을 제안한다. 메시지 전파 과정에서 높은 불확실성 노드의 영향을 동적으로 감소시킴으로써, UAG은 다양한 악성 공격 설정에서 기존 최고 성능 방어 기법인 RGCN을 뛰어넘는 성능을 보이며, 특히 공격 비율이 높은 상황에서 두각을 나타낸다.

ABSTRACT

With the increasing popularity of graph-based learning, graph neural networks (GNNs) emerge as the essential tool for gaining insights from graphs. However, unlike the conventional CNNs that have been extensively explored and exhaustively tested, people are still worrying about the GNNs' robustness under the critical settings, such as financial services. The main reason is that existing GNNs usually serve as a black-box in predicting and do not provide the uncertainty on the predictions. On the other side, the recent advancement of Bayesian deep learning on CNNs has demonstrated its success of quantifying and explaining such uncertainties to fortify CNN models. Motivated by these observations, we propose UAG, the first systematic solution to defend adversarial attacks on GNNs through identifying and exploiting hierarchical uncertainties in GNNs. UAG develops a Bayesian Uncertainty Technique (BUT) to explicitly capture uncertainties in GNNs and further employs an Uncertainty-aware Attention Technique (UAT) to defend adversarial attacks on GNNs. Intensive experiments show that our proposed defense approach outperforms the state-of-the-art solutions by a significant margin.

연구 동기 및 목표

• 금융 및 의료와 같은 안전이 중요한 애플리케이션에서 GNN의 강건성을 제한하는 불확실성 정량화의 부족을 해결한다.
• GNN 내에서 두 가지 핵심 불확실성 원인을 식별하고 정량화한다: 파라미터 분포로 인한 모델 불확실성과 노이즈 또는 악성 특성으로 인한 데이터 불확실성.
• 불확실성 추정치를 활용하여 메시지 전파 과정에서 악성 영향의 확산을 줄이는 방어 기법을 개발한다.
• 불확실성 인식 주의 메커니즘을 GNN 아키텍처에 통합하여 그래프 메시지 전파 과정에서의 토폴로지 및 특성 변형 공격에 대한 GNN의 강건성을 향상시킨다.
• 특히 높은 공격 비율과 DICE, Mettack와 같은 복잡한 공격 유형에서 RGCN과 같은 기존 방어 기법에 비해 뛰어난 성능을 입증한다.

제안 방법

• 변분 추론을 사용하여 GNN 파라미터와 특성에 대한 사후 분포를 통해 각 노드의 불확실성 추정치를 산출하는 베이지안 불확실성 기법(BUT)을 제안한다.
• 노드 수준의 불확실성에 기반해 주의 가중치를 조정하는 불확실성 인식 주의 기법(UAT)을 도입하여, 집합 과정에서 높은 불확실성 노드의 영향을 감소시킨다.
• 이중 손실 기반 메커니즘을 설계: L1 손실은 레이블이 지정된 노드의 다양성을 포착하도록 유도하고, L2 손실은 자기지도 학습을 통해 레이블이 없는 노드에서 다양성을 포착한다.
• 주의 가중치를 역불확실성으로 스케일링하는 불확실성 인식 메시지 전파를 제안하여 악성 신호의 확산을 최소화한다.
• 재구성 기법을 사용하여 불확실성 추정치를 미분 가능하게 만들고, 불확실성 인식 GNN의 엔드 투 엔드 학습을 가능하게 한다.
• 기존 GNN 아키텍처(예: GAT, GCN)에 불확실성 추정을 통합함으로써 아키텍처의 대대적 개편 없이도 즉시 적용 가능한 강건성 향상 기능을 제공한다.

실험 결과

연구 질문

• RQ1 모델 및 데이터 불확실성을 명시적으로 모델링하면 GNN의 악성 공격에 대한 강건성이 향상되는가?
• RQ2 불확실성 인식 주의 메커니즘이 그래프 신경망에서 악성 편향의 전파에 어떤 영향을 미치는가?
• RQ3 레이블이 지정된 노드와 레이블이 없는 노드의 다양성을 불확실성 추정에 통합하면 방어 성능이 향상되는가?
• RQ4 불확실성 민감도를 제어하는 하이퍼파라미터가 공격 하에서 모델 정확도에 어떤 영향을 미치는가?
• RQ5 UAG는 다양한 공격 유형(DICE, 무작위 공격 등)과 다양한 데이터셋(Cora, Citeseer, PubMed 등)에서 최고 성능 기법(SOTA)을 일관되게 초월하는가?

주요 결과

• 모델 불확실성과 데이터 불확실성을 모두 통합한 UAG-Both는 모든 데이터셋과 공격 비율에서 UAG-Model 및 UAG-Data를 뛰어넘는 일관된 성능을 보이며, 계층적 불확실성 모델링의 유용성을 입증한다.
• Cora 및 Citeseer 데이터셋에서, UAG는 모든 공격 비율에서 RGCN보다 유의미하게 높은 정확도를 기록하며, 30% 공격 비율에서 15% 이상의 격차를 확보한다.
• DICE 공격(커뮤니티 간 연결을 증가시켜 모델을 혼동하는 공격) 하에서 UAG는 높은 정확도를 유지하지만, GAT과 RGCN는 급격한 성능 저하를 겪는다. 이는 구조적 편향에 대한 강건성을 보여준다.
• 제거 실험 결과, 이중 손실 설계(L1 + L2)가 레이블이 지정된 노드와 레이블이 없는 노드의 정보를 모두 활용함으로써 불확실성 추정을 향상시키며, 단일 손실 기반 대안보다 더 나은 방어 성능을 이끌어낸다.
• 하이퍼파라미터 분석 결과, αₜ = 15 및 βₜ = 2.5(τ ∈ {M, D}일 때) 설정이 강건성과 정보 흐름 사이의 최적의 트레이드오���을 이룬다. 더 높은 αₜ 또는 낮은 βₜ는 방어 성능 향상에 기여하지만, 과도한 제약을 초래할 수 있다.
• 주의 가중치의 시각화 결과, 고수준의 무작위 공격 비율 하에서 UAG는 높은 불확실성 노드에 대해 주의 가중치를 0에 수렴하도록 적응적으로 감소시키며, 효과적으로 악성 신호 전파를 억제함을 보여준다.