[논문 리뷰] Can Adversarial Network Attack be Defended?

Chen Jin-yin, Yangyang Wu외 2명|arXiv (Cornell University)|2019. 03. 11.

Adversarial Robustness in Machine Learning참고 문헌 51인용 수 21

한 줄 요약

이 논문은 그래프 신경망(GNNs)에 대한 적대적 공격에 대비한 최초의 종합적인 방어 프레임워크를 제안하며, 새로운 적대적 훈련 전략(Global-AT, Target-AT)과 스무딩 방어 기법(스무딩 딜리게이션, 스무딩 교차엔트로피 손실)을 도입한다. 이러한 방법들은 기울기 스무딩을 통해 적대적 기울기의 진폭을 감소시켜 다양한 실세계 네트워크와 작업에서 강건성을 크게 향상시킨다.

ABSTRACT

Machine learning has been successfully applied to complex network analysis in various areas, and graph neural networks (GNNs) based methods outperform others. Recently, adversarial attack on networks has attracted special attention since carefully crafted adversarial networks with slight perturbations on clean network may invalid lots of network applications, such as node classification, link prediction, and community detection etc. Such attacks are easily constructed with serious security threat to various analyze methods, including traditional methods and deep models. To the best of our knowledge, it is the first time that defense method against network adversarial attack is discussed. In this paper, we are interested in the possibility of defense against adversarial attack on network, and propose defense strategies for GNNs against attacks. First, we propose novel adversarial training strategies to improve GNNs' defensibility against attacks. Then, we analytically investigate the robustness properties for GNNs granted by the use of smooth defense, and propose two special smooth defense strategies: smoothing distillation and smoothing cross-entropy loss function. Both of them are capable of smoothing gradient of GNNs, and consequently reduce the amplitude of adversarial gradients, which benefits gradient masking from attackers. The comprehensive experiments show that our proposed strategies have great defensibility against different adversarial attacks on four real-world networks in different network analyze tasks.

연구 동기 및 목표

• 그래프 신경망(GNNs)에 대한 적대적 네트워크 공격에 대비한 방어의 가능성을 탐색한다.
• 네트워크 분석 응용 분야에서 증가하는 적대적 변형이 초래하는 보안 위협을 해결한다.
• NETTACK 및 FGA와 같은 대상 공격 및 반복적 공격에 대한 강건성을 향상시키는 강력한 방어 메커니즘을 개발한다.
• GNNs에서 스무딩 방어의 이론적 및 실험적 강건성 특성을 탐구한다.
• 다양한 네트워크 유형과 하류 작업(노드 분류, 커뮤니티 탐지, 링크 예측)을 대상으로 방어 전략을 평가한다.

제안 방법

• 적대적 예제를 기반으로 GNN을 미세조정하여 일반화 및 강건성을 향상시키는 Global-AT 및 Target-AT 적대적 훈련 전략을 제안한다.
• 스무딩된 레이블을 사용해 지식 딜리게이션을 적용하는 스무딩 딜리게이션 기법을 도입하여 GNN의 기울기 갱신을 스무딩한다.
• 출력 분포를 정규화하여 입력 변형에 대한 기울기 민감도를 감소시키는 스무딩 교차엔트로피 손실 함수를 개발한다.
• 기울기 스무딩을 활용해 적대적 기울기를 마스킹하여 공격자가 효과적인 변형을 계산하기 어려워지도록 한다.
• DeepWalk 임베딩에 t-SNE 시각화를 적용하여 방어 조건 하에서 노드 표현의 안정성을 입증한다.
• 적대적 훈련 및 스무딩 방어 요소를 통합하기 위해 표준 GNN(GCN 등)을 사용하고 훈련 절차를 수정한다.

실험 결과

연구 질문

• RQ1 적대적 훈련과 스무딩 방어를 통해 그래프 신경망(GNNs)의 적대적 공격을 효과적으로 방어할 수 있는가?
• RQ2 스무딩 기반 방어 기법(스무딩 딜리게이션, 스무딩 교차엔트로피 손실)이 GNN의 강건성에 어떤 영향을 미치는가?
• RQ3 FGA 및 NETTACK와 같은 다양한 공격 유형에 대해, 다양한 방어 전략(Target-AT, Ensemble, AT 등)의 상대적 효과는 어떠한가?
• RQ4 방어 메커니즘이 정제된 데이터에서의 모델 성능을 얼마나 유지하면서도 강건성을 향상시키는가?
• RQ5 스무딩을 통한 기울기 마스킹이 실세계 네트워크에서의 적대적 공격 성공률을 상당히 감소시킬 수 있는가?

주요 결과

• 제안된 방어 전략, 특히 Target-AT 및 Ensemble는 모든 데이터셋과 작업에서 표준 적대적 훈련(AT)보다 뚜렷이 뛰어난 성능을 보였다.
• 스무딩 딜리게이션과 스무딩 교차엔트로피 손실은 적대적 기울기의 진폭을 효과적으로 감소시켜 기울기 마스킹 효과를 향상시켰다.
• PolBook 및 Dolphins 네트워크에서 Target-AT 및 Ensemble 방어 전략은 FGA 및 NETTACK 공격 조건에서도 커뮤니티 탐지 정확도가 90% 이상을 기록했으며, 표준 AT는 실패하거나 성능이 저하되었다.
• 시각화 결과는 Ensemble 방어 조건 하에서 대상 노드의 임베딩이 적대적 링크 변경에도 불구하고 안정성을 유지하는 반면, 보호되지 않은 모델에서는 그렇지 못함을 보여주었다.
• 대상 공격을 고려한 적대적 훈련(Target-AT)은 글로벌 적대적 훈련(Global-AT)보다 더 강력한 강건성을 제공했으며, 특히 커뮤니티 탐지 작업에서 두드러졌다.
• 적대적 훈련과 스무딩 방어의 조합(예: Ensemble)은 모든 공격 유형과 데이터셋에서 가장 일관되고 강건한 성능을 보였다.