[논문 리뷰] Adversarial Immunization for Improving Certifiable Robustness on Graphs

Shuchang Tao, Huawei Shen외 3명|arXiv (Cornell University)|2020. 07. 19.

HIV, Drug Use, Sexual Risk인용 수 1

한 줄 요약

이 논문은 그래프 내 일부 노드 쌍을 면역화하여 적대적 공격에 대한 증명 가능 강건성을 향상시키는 데일적 최적화 프레임워크인 AdvImmune를 제안한다. 이는 이산 메타기울기 계산을 효율적으로 수행함으로써, 인용 네트워크와 사회적 네트워크에서 5%의 엣지 면역화 예산으로도 강건한 노드 비율을 12%에서 65%까지 향상시킨다.

ABSTRACT

Despite achieving strong performance in the semi-supervised node classification task, graph neural networks (GNNs) are vulnerable to adversarial attacks, similar to other deep learning models. Existing research works either focus on developing robust GNN models or attack detection methods against attacks on graphs. However, little research attention is paid to the potential and practice of immunization to adversarial attacks on graphs. In this paper, we formulate the problem of graph adversarial immunization as a bilevel optimization problem, i.e., vaccinating an affordable fraction of node pairs, connected or unconnected, to improve the certifiable robustness of the graph against any admissible adversarial attack. We further propose an efficient algorithm, called AdvImmune, which optimizes meta-gradient in a discrete way to circumvent the computationally expensive combinatorial optimization when solving the adversarial immunization problem. Experiments are conducted on two citation networks and one social network. Experimental results demonstrate that the proposed AdvImmune immunization method remarkably improves the fraction of robust nodes by 12%, 42%, 65%, with an affordable immune budget of only 5% edges.

연구 동기 및 목표

• 그래프 면역화의 맥락에서 여전히 미흡하게 다뤄지고 있는 그래프 신경망(GNNs)의 적대적 공격에 대한 취약성을 해결하기 위해.
• 한정된 수의 노드 쌍을 면역화하여 강건성을 극대화하는 방식으로 그래프 적대적 면역화를 이중 최적화 문제로 공식화하기 위해.
• 복잡한 조합 최적화를 피하기 위해 이산 메타기울기 계산을 활용하는 효율적인 알고리즘을 개발하기 위해.
• 실제 그래프 데이터셋에서 어떤 허용 가능한 적대적 변형이 가해져도 모델 예측이 안정을 유지하는 증명 가능한 강건성을 향상시키기 위해.

제안 방법

• 적대적 면역화를 이중 최적화 문제로 공식화: 상위 수준은 면역화된 노드 쌍을 선택하고, 하위 수준은 적대적 변형 하에서 강건한 GNN을 훈련한다.
• 해결이 불가능한 조합 최적화 하위 문제를 피하기 위해 효율적인 이산 메타기울기 계산 전략을 도입한다.
• 하위 수준의 강건한 훈련을 위한 미분 가능 대체 함수를 사용하여 면역화 전략에 대한 기울기 기반 업데이트를 가능하게 한다.
• 연결된 노드 쌍과 연결되지 않은 노드 쌍 모두에 적용하여 그래프 구조 전반에 걸쳐 융통성 있는 면역화를 허용한다.
• 실제 구현 가능성을 확보하기 위해 제약된 예산(예: 엣지의 5%) 하에서 면역화 전략을 최적화한다.
• 그래프 GNN의 구조를 활용하여 면역화가 강건성 인증에 어떻게 영향을 미치는지 반영하는 기울기를 계산한다.

실험 결과

연구 질문

• RQ1 전략적으로 선택된 소수의 노드 쌍을 면역화하는 것으로 그래프 내 GNN의 증명 가능한 강건성을 크게 향상시킬 수 있는가?
• RQ2 비용이 많이 드는 조합 검색에 의존하지 않고도 적대적 면역화를 효율적으로 공식화하고 최적화할 수 있는가?
• RQ3 연결된 노드 쌍과 연결되지 않은 노드 쌍 모두를 면역화할 경우 강건성 향상에 어떤 영향을 미치는가?
• RQ4 제한된 면역화 예산 하에서 제안된 방법이 강건성 향상에서 어떻게 성능을 내는가?

주요 결과

• AdvImmune는 실생활 인용 네트워크와 사회적 네트워크에서 5%의 엣지 면역화 예산으로도 증명 가능한 강건한 노드 비율을 최대 65%까지 향상시킨다.
• 모든 테스트 데이터셋에서 일관된 강건성 향상 효과를 보이며, 다양한 네트워크에서 각각 12%, 42%, 65%의 향상률을 기록한다.
• 이산 메타기울기 계산을 통해 효율적인 최적화가 가능해져 전체 조합 검색의 계산 불가능성 문제를 피할 수 있다.
• 연결되지 않은 노드 쌍의 면역화가 강건성 향상에 의미 있는 기여를 하며, 이는 구조 기반 면역화가 기존 엣지에 국한되지 않음을 시사한다.
• 강력한 적대적 공격 조건에서도 뛰어난 성능을 유지하여 강건성의 효과적인 인증을 보여준다.
• 결과적으로 면역화가 모델 아키텍처나 탐지 기반 방어를 초월해 GNN의 강건성을 향상시키는 실현 가능하고 효과적인 전략임을 검증한다.