[논문 리뷰] Reliable Graph Neural Networks via Robust Aggregation

Simon Geisler, Daniel Zügner외 1명|arXiv (Cornell University)|2020. 10. 29.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 24

한 줄 요약

이 논문은 그래프 신경망(GNNs)를 위한 완전히 미분 가능한 강력한 집합 함수인 Soft Medoid를 제안한다. 이는 강력한 통계의 원리를 활용하여 악성으로 삽입된 간선의 영향을 완화한다. 분해점(breakdown point)이 0.5이므로, 노드의 이웃 중 최대 절반까지 악성일 경우에도 오차가 제한되며, Citeseer에서는 최대 5.5배, 저도수 노드에서는 최대 8배까지 구조적 편향에 대한 강건성을 향상시킨다.

ABSTRACT

Perturbations targeting the graph structure have proven to be extremely effective in reducing the performance of Graph Neural Networks (GNNs), and traditional defenses such as adversarial training do not seem to be able to improve robustness. This work is motivated by the observation that adversarially injected edges effectively can be viewed as additional samples to a node's neighborhood aggregation function, which results in distorted aggregations accumulating over the layers. Conventional GNN aggregation functions, such as a sum or mean, can be distorted arbitrarily by a single outlier. We propose a robust aggregation function motivated by the field of robust statistics. Our approach exhibits the largest possible breakdown point of 0.5, which means that the bias of the aggregation is bounded as long as the fraction of adversarial edges of a node is less than 50\%. Our novel aggregation function, Soft Medoid, is a fully differentiable generalization of the Medoid and therefore lends itself well for end-to-end deep learning. Equipping a GNN with our aggregation improves the robustness with respect to structure perturbations on Cora ML by a factor of 3 (and 5.5 on Citeseer) and by a factor of 8 for low-degree nodes.

연구 동기 및 목표

• 구조적 적대적 공격에 취약한 GNN의 심각한 취약점을 해결한다. 이는 그래프 간선의 편향이 모델 성능을 크게 떨어뜨린다.
• 기존 GNN 집합 함수(예: 합, 평균)가 외래값에 매우 민감하여, 단일 악성 간선으로 인해 임의로 왜곡될 수 있음을 규명한다.
• 이웃 입력 중 최대 50%가 손상되어도 오차가 제한되는 강력한 집합 메커니즘을 개발한다. 이는 임의의 공격 패tern에 대비한 내성적 저항력을 보장한다.
• 비미분 가능한 메디안의 완전히 미분 가능한 대체물로 설계하여, 깊은 GNN 아키텍처에서 엔드 투 엔드 학습을 가능하게 한다.
• 기존에 더 취약한 경향이 있는 저도수 노드에 대해 특별히 강건성을 향상시킨다. 이는 이웃 정보가 제한적이기 때문이다.

제안 방법

• 메디안의 미분 가능한 일반화로 Soft Medoid를 제안한다. 이는 임베딩 공간 내 상호 거리에 대한 소프트 최소화(safe-minimization) 방식을 사용한다.
• 메디안을 근사하는 미분 가능한 목적함수를 정식화하여, backpropagation 동안 기울기 흐름이 가능하도록 한다.
• 기존 GNN의 메시지 전달 프레임워크에 Soft Medoid를 통합하여, 업데이트 규칙에서 표준 집합기인 합 또는 평균을 대체한다.
• 이론적으로 분해점이 0.5임을 보장하여, 이웃 중 절반 미만이 악성일 경우 추정기가 여전히 유한함을 보장한다.
• 온도 조절 기반의 소프트 최소화 함수를 사용하여 이산적인 메디안 선택을 근사함으로써, 딥 러닝 파이프라인에서 부드러운 최적화를 가능하게 한다.
• 아키텍처의 대대적인 개편 없이도 표준 GNN 아키텍처(GCN 등)에 통합 가능하여 즉시 적용 가능한 강건성 확보가 가능하다.

실험 결과

연구 질문

• RQ1 공격 특화 가정에 의존하지 않고, 구조적 적대적 공격에 저항할 수 있는, 완전히 미분 가능한 강력한 집합 함수를 설계할 수 있는가?
• RQ2 높은 분해점(0.5)을 가진 강력한 집합 함수는 다양한 수준의 구조적 편향 하에서 GNN의 강건성을 얼마나 향상시킬 수 있는가?
• RQ3 기존 방어 기법과 비교해 볼 때, 제안된 Soft Medoid 집합 함수는 특히 본질적으로 더 취약한 저도수 노드에서 어떻게 성능을 내는가?
• RQ4 표준 공격 설정 하에서 Cora 및 Citeseer와 같은 여러 기준 데이터셋에서 강건성 향상 여부를 경험적으로 검증할 수 있는가?
• RQ5 미분 가능한 메디안 근사 기법을 사용함으로써, 정상 데이터에서는 모델 정확도를 유지하면서도 공격 상황에서 강건성을 크게 향상시킬 수 있는가?

주요 결과

• Soft Medoid는 기준 GNN에 비해 Cora ML에서 상대적 3배, Citeseer에서는 최대 5.5배까지 구조적 편향에 대한 강건성을 향상시킨다.
• Cora ML에서는 상대적 550% 향상, 저도수 노드에서는 최대 8배의 향상으로, 도전적인 케이스에서 강력한 내성적 저항력을 보여준다.
• 다양한 공격 유형과 데이터셋에서 기존 최고 수준의 방어 기법인 RGCN, [24], [52]를 모두 초월한다.
• 인증 실험 결과, Soft Medoid GDC는 간선 추가 및 삭제 공격 모두에 대해 다양한 편향 반경에서 높은 인증 비율을 유지한다.
• 소프트 최소화 공식화 덕분에 효과적인 backpropagation과 엔드 투 엔드 학습이 가능하며, 정상 데이터에서는 높은 정확도를 유지하면서도 공격 상황에서 강건성이 크게 향상된다.
• 이론적 분석을 통해 Soft Medoid가 최적의 분해점 0.5를 달성함을 확인하였으며, 이는 이웃 중 절반 미만이 손상된 경우 오차가 유한해지는 것을 보장한다.