[논문 리뷰] A Restricted Black-box Adversarial Framework Towards Attacking Graph Embedding Models

Heng Chang, Yu Rong외 6명|arXiv (Cornell University)|2019. 08. 04.

Advanced Graph Neural Networks참고 문헌 27인용 수 5

한 줄 요약

이 논문은 모델 파라미터, 레이블, 예측 결과에 접근할 수 없으며, 인접 행렬과 특징 행렬만을 사용하여 그래프 필터를 조작함으로써 그래프 임베딩 모델을 공격하는 제한된 블랙박스 적대적 프레임워크인 GF-Attack을 제안한다. 이는 GCN 및 샘플링 기반 방법을 포함한 다양한 모델에서 매우 낮은 수준의 변형(예: 한 개의 엣지 전환)으로도 뛰어난 공격 성능을 달성하며, 실용적인 블랙박스 제약 조건 하에서 높은 효과성과 전이 가능성(transferability)을 입증한다.

ABSTRACT

With the great success of graph embedding model on both academic and industry area, the robustness of graph embedding against adversarial attack inevitably becomes a central problem in graph learning domain. Regardless of the fruitful progress, most of the current works perform the attack in a white-box fashion: they need to access the model predictions and labels to construct their adversarial loss. However, the inaccessibility of model predictions in real systems makes the white-box attack impractical to real graph learning system. This paper promotes current frameworks in a more general and flexible sense -- we demand to attack various kinds of graph embedding model with black-box driven. To this end, we begin by investigating the theoretical connections between graph signal processing and graph embedding models in a principled way and formulate the graph embedding model as a general graph signal process with corresponding graph filter. As such, a generalized adversarial attacker: GF-Attack is constructed by the graph filter and feature matrix. Instead of accessing any knowledge of the target classifiers used in graph embedding, GF-Attack performs the attack only on the graph filter in a black-box attack fashion. To validate the generalization of GF-Attack, we construct the attacker on four popular graph embedding models. Extensive experimental results validate the effectiveness of our attacker on several benchmark datasets. Particularly by using our attack, even small graph perturbations like one-edge flip is able to consistently make a strong attack in performance to different graph embedding models.

연구 동기 및 목표

• 모델 파라미터, 레이블, 예측 결과에 접근할 수 없는 제한된 블랙박스 설정에서 그래프 임베딩 모델에 대한 실용적 적대적 공격의 격차를 메우기 위해.
• 실제 시스템에서는 구현이 불가능한 화이트박스 또는 실용적 화이트박스 가정에 의존하는 기존 공격의 한계를 극복하기 위해.
• 모델 특화 지식이나 서rogate 모델이 필요 없이 다양한 그래프 임베딩 모델에 적용 가능한 일반화 가능한 공격 프레임워크를 개발하기 위해.
• 그래프 임베딩을 그래프 신호 처리 문제로 재정의하여, 입력 수준의 데이터만을 사용해 그래프 필터 최적화를 통한 공격를 가능하게 하기 위해.
• 실제 제약 조건 하에서 최소한의 구조적 변형(예: 한 개의 엣지 전환)으로도 효과적인 공격를 수행할 수 있음을 입증하기 위해.

제안 방법

• 인접 행렬에서 유도된 학습 가능한 그래프 필터를 갖는 일반적인 그래프 신호 처리 과정으로 그래프 임베딩 모델을 수식화하기 위해.
• 그래프 필터와 특징 행렬의 저랭크 근사에 기반한 임베딩 품질 측도를 구성하여, 모델 손실 함수에 접근하지 않더라도 공격를 가능하게 하기 위해.
• 모델 기울기 의존 없이도 원래 임베딩 공간에서의 분리도를 최대화하는 미분 가능한 목적 함수를 통해 그래프 필터를 직접 최적화하기 위해.
• 입력 그래프와 특징 자료만을 사용하여 제약 조건이 있는 최적화 문제를 해결함으로써 적대적 엣지 수정(삽입/삭제)을 수행하기 위해.
• 모델를 수정하거나 재학습하지 않고도 GCN 및 샘플링 기반 모델을 포함한 여러 그래프 임베딩 모델에 공격를 적용하기 위해.
• 모델 파라미터, 레이블, 예측 결과에 대한 의존성을 제거하고 인접 행렬과 특징 행렬에만 기반하여 블랙박스 호환성을 확보하기 위해.

실험 결과

연구 질문

• RQ1 모델 파라미터, 레이블, 예측 결과에 접근할 수 없는 제한된 블랙박스 설정에서 그래프 임베딩 모델에 대한 적대적 공격를 효과적으로 수행할 수 있는가?
• RQ2 모델 특화 적응이 필요 없이 다양한 그래프 임베딩 모델 간에 전이 가능한 일반 목적의 적대적 공격 프레임워크를 어떻게 설계할 수 있는가?
• RQ3 최소한의 구조적 변형(예: 한 개의 엣지 전환)이 제한된 블랙박스 제약 조건 하에서 그래프 임베딩 모델의 성능을 어느 정도 악화시킬 수 있는가?
• RQ4 입력 수준의 정보만을 사용하여 그래프 임베딩 모델의 그래프 필터를 효과적으로 조작하여 후행 작업 성능을 떨어뜨릴 수 있는가?
• RQ5 GF-Attack에서 그래프 필터의 순서(K)가 GCN 및 SGC와 같은 다양한 모델 아키텍처에서 공격 성능에 미치는 영향은 어떠한가?

주요 결과

• GF-Attack은 모든 벤치마크 데이터셋(Cora, Citeseer, Pubmed)에서 다양한 그래프 임베딩 모델에 대해 모든 베이스라인(Random, Degree, RL-S2V, A_class)을 압도적으로 능가한다.
• 단 한 개의 엣지 전환으로도 GF-Attack은 GCN 및 LINE, DeepWalk과 같은 샘플링 기반 모델의 분류 정확도를 일관되게 악화시킨다.
• Citeseer에서 GF-Attack은 노드당 평균 실행 시간 12.78초를 기록하여 RL-S2V(222.80 s)와 A_class(146.58 s)보다 훨씬 빠르며, Random(0.19 s)과 Degree(42.21 s)보다도 더 효과적이다.
• GF-Attack-5(K=5 필터 순서)는 2-층 및 5-층 GCN과 SGC에서 최고의 공격 성능를 기록하여 고차수 필터가 공격 성능를 향상시킨다는 것을 시사한다.
• 변형 예산(β)이 증가할수록 공격 성능가 향상되며, Cora에서 다중 엣지 변형 설정에서도 GF-Attack은 모든 베이스라인을 압도적으로 뛰어넘는다.
• 공격는 모델 간 전이 가능하다: GF-Attack은 GCN과 SGC 모두에서 성능을 떨어뜨리며, 깊은 GCN 모델뿐 아니라 SGC와 같은 단순한 모델에도 효과적이다.