[논문 리뷰] Robust Graph Neural Network Against Poisoning Attacks via Transfer Learning.

Xianfeng Tang, Yandong Li외 4명|arXiv (Cornell University)|2019. 08. 20.

Adversarial Robustness in Machine Learning인용 수 9

한 줄 요약

이 논문은 유사 도메인의 청소년 그래프를 활용하여 오염 공격에 대한 방어력을 향상시키는 강건한 그래프 신경망인 PA-GNN을 제안한다. 오염된 청소년 그래프에서 악성 엣지 탐지 지식을 메타 최적화를 통해 오염된 타겟 그래프로 전이함으로써 PA-GNN은 학습된 어텐션 메커니즘을 통해 악성 엣지를 페널티 처리하여 네 개의 실세계 데이터셋에서 최신 기술 수준의 강건성을 달성한다.

ABSTRACT

Graph neural networks (GNNs) are widely used in many applications. However, their robustness against adversarial attacks is criticized. Prior studies show that using unnoticeable modifications on graph topology or nodal features can significantly reduce the performances of GNNs. It is very challenging to design robust graph neural networks against poisoning attack and several efforts have been taken. Existing work aims at reducing the negative impact from adversarial edges only with the poisoned graph, which is sub-optimal since they fail to discriminate adversarial edges from normal ones. On the other hand, clean graphs from similar domains as the target poisoned graph are usually available in the real world. By perturbing these clean graphs, we create supervised knowledge to train the ability to detect adversarial edges so that the robustness of GNNs is elevated. However, such potential for clean graphs is neglected by existing work. To this end, we investigate a novel problem of improving the robustness of GNNs against poisoning attacks by exploring clean graphs. Specifically, we propose PA-GNN, which relies on a penalized aggregation mechanism that directly restrict the negative impact of adversarial edges by assigning them lower attention coefficients. To optimize PA-GNN for a poisoned graph, we design a meta-optimization algorithm that trains PA-GNN to penalize perturbations using clean graphs and their adversarial counterparts, and transfers such ability to improve the robustness of PA-GNN on the poisoned graph. Experimental results on four real-world datasets demonstrate the robustness of PA-GNN against poisoning attacks on graphs. Code and data are available here: this https URL.

연구 동기 및 목표

• 그래프 구조나 노드 특성의 조작으로 인해 GNN이 취약해지는 문제를 해결하기 위해.
• 기존 방법들이 오염된 그래프만을 사용하여 악성 엣지와 정상 엣지 간의 구분 능력이 부족한 한계를 극복하기 위해.
• 유사 도메인에서의 가용 청소년 그래프를 활용하여 악성 엣지를 탐지하는 감독 지식의 원천으로 삼기 위해.
• 청결한 그래프에서의 강건성을 오염된 타겟 그래프로 전이할 수 있는 메타 최적화 프레임워크를 개발하기 위해.
• 악성 엣지에 대해 낮은 어텐션을 할당하는 페널티 처리된 집합 메커니즘을 통해 GNN의 강건성을 향상시키기 위해.

제안 방법

• PA-GNN는 메시지 전파 중 악성 엣지의 어텐션 계수를 감소시키는 페널티 처리된 집합 메커니즘을 사용한다.
• 모델은 청소년 그래프와 그에 대응하는 악성으로 훼손된 변형 그래프에서 번갈아가며 최적화하는 메타 최적화 알고리즘을 사용하여 훈련된다.
• 청소년 그래프와 그 훼손된 복제본을 감독 신호로 사용하여 모델이 악성 엣지를 구분하도록 가르친다.
• 메타 최적화 과정을 통해 모델이 청소년 데이터로부터의 강건성을 오염된 타겟 그래프로 일반화할 수 있도록 보장한다.
• 모델을 청소년 그래프 데이터로 초기화하고, 악성 지식을 포함한 오염된 그래프에서 파인튜닝함으로써 전이 학습을 활용한다.
• 핵심 구성 요소는 메타 최적화 과정을 통해 식별된 악성 엣지에 대해 명시적인 페널티를 적용한 어텐션 기반 집합이다.

실험 결과

연구 질문

• RQ1 유사 도메인의 청소년 그래프를 효과적으로 활용하여 GNN의 오염 공격에 대한 강건성을 향상시킬 수 있는가?
• RQ2 청소년 그래프에서의 감독 지식을 활용하여 악성 엣지와 정상 엣지를 어떻게 구분할 수 있는가?
• RQ3 메타 최적화가 청소년 그래프에서의 악성 탐지 능력을 오염된 타겟 그래프로 효과적으로 전이할 수 있는가?
• RQ4 페널티 처리된 집합 메커니즘이 악성 엣지의 영향을 줄임으로써 GNN의 강건성을 향상시키는가?
• RQ5 PA-GNN은 오염 공격 하에서 기존 방어 방법과 비교해 강건성 면에서 어떻게 성과를 내는가?

주요 결과

• PA-GNN은 네 개의 실세계 데이터셋에서 오염 공격에 대해 최신 기술 수준의 강건성을 달성한다.
• 청소년 그래프와 그에 대응하는 악성으로 훼손된 그래프를 감독 신호로 사용함으로써 모델이 악성 엣지를 탐지하고 완화하는 능력이 크게 향상된다.
• 메타 최적화 프레임워크는 청소년 그래프에서의 강건성을 오염된 타겟 그래프로 성공적으로 전이한다.
• 페널티 처리된 집합 메커니즘은 악성 엣지에 대해 낮은 어텐션 계수를 할당하여 그 영향을 효과적으로 감소시킨다.
• PA-GNN은 다양한 오염 공격 설정 하에서도 높은 성능를 유지하는 데서 기존 방어 방법을 능가한다.
• 특히 유사 도메인의 청소년 그래프가 가용할 경우 강력한 일반화 능력을 보여준다.