[논문 리뷰] Graph Adversarial Training: Dynamically Regularizing Based on Graph Structure

Fuli Feng, Xiangnan He외 2명|arXiv (Cornell University)|2019. 02. 20.

Advanced Graph Neural Networks참고 문헌 53인용 수 30

한 줄 요약

이 논문은 그래프 스무쓰니스 제약 조건을 특별히 겨냥하는 적대적 편향을 생성함으로써 그래프 신경망의 강건성을 향상시키는 동적 정규화 방법인 그래프 적대적 훈련(GraphAT)을 제안한다. 이는 노드와 그 이웃 간의 예측 분산을 최대화함으로써 작동한다. 표준 지도 학습과 적대적 정규화를 함께 최적화함으로써 그래프 신경망의 일반화 능력을 향상시키며, 인용 및 지식 그래프에서 표준 GCN 훈련 대비 평균 4.51%의 정확도 향상을 달성한다.

ABSTRACT

Recent efforts show that neural networks are vulnerable to small but intentional perturbations on input features in visual classification tasks. Due to the additional consideration of connections between examples (\eg articles with citation link tend to be in the same class), graph neural networks could be more sensitive to the perturbations, since the perturbations from connected examples exacerbate the impact on a target example. Adversarial Training (AT), a dynamic regularization technique, can resist the worst-case perturbations on input features and is a promising choice to improve model robustness and generalization. However, existing AT methods focus on standard classification, being less effective when training models on graph since it does not model the impact from connected examples. In this work, we explore adversarial training on graph, aiming to improve the robustness and generalization of models learned on graph. We propose Graph Adversarial Training (GraphAT), which takes the impact from connected examples into account when learning to construct and resist perturbations. We give a general formulation of GraphAT, which can be seen as a dynamic regularization scheme based on the graph structure. To demonstrate the utility of GraphAT, we employ it on a state-of-the-art graph neural network model --- Graph Convolutional Network (GCN). We conduct experiments on two citation graphs (Citeseer and Cora) and a knowledge graph (NELL), verifying the effectiveness of GraphAT which outperforms normal training on GCN by 4.51% in node classification accuracy. Codes are available via: https://github.com/fulifeng/GraphAT.

연구 동기 및 목표

• 노드 특성에 대한 작은, 목표 지정된 편향으로 인해 악화되는 그래프 신경망의 취약성을 해결한다. 이는 그래프 스무쓰니스 제약 조건에 기인한다.
• 연결된 노드 간의 관계적 의존성을 忽시하기 때문에 표준 적대적 훈련이 그래프에서는 실패함을 인식한다.
• 편향의 영향이 이웃 노드에 미치는 영향을 명시적으로 모델링하여 그래프 기반 학습에서의 강건성과 일반화 능력을 향상시키는 방법을 개발한다.
• 그래프 구조에 기반한 동적 정규화 체계를 제안하여 적대적 예제 생성 및 모델 최적화를 이끌어낸다.
• 실세계 그래프 데이터셋에서 GraphAT의 효과를 입증하며, 표준 및 기존의 적대적 훈련 방법보다 뛰어난 성능과 강건성을 보여준다.

제안 방법

• 편향 생성 과정에서 연결된 노드의 영향을 모델링함으로써 그래프 구조와 적대적 훈련을 통합하는 일반적인 프레임워크인 GraphAT를 제안한다.
• 편향된 노드와 그 이웃 간의 예측 분산을 최소화하는 그래프 적대적 정규화자를 정의함으로써 구조적 스무쓰니스를 강제한다.
• 노드의 예측과 이웃의 예측 간 분산을 최대화하는 방식으로 적대적 공격를 설정함으로써 그래프 스무쓰니스 제약 조건을 겨냥한다.
• 완전한 2차 도함수를 사용하지 않고, 역전파를 통한 선형 근사를 사용하여 효율적으로 적대적 편향을 계산한다.
• 표준 GCN 훈련 목표에 그래프 적대적 정규화자를 통합함으로써, 지도 학습 및 적대적 손실을 동시에 최적화할 수 있도록 한다.
• 최신 기술인 GCN 모델에 이 방법을 적용하여, 정상 예제와 적대적으로 편향된 예제를 모두 사용해 훈련함으로써 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 노드 간의 관계적 의존성을 고려함으로써 적대적 훈련을 그래프 신경망에 효과적으로 적용할 수 있는가?
• RQ2 적대적 예제 생성 과정에 그래프 구조를 통합함으로써 노드 분류 과제에서 강건성과 일반화 능력이 향상되는가?
• RQ3 성능 및 강건성 측면에서 GraphAT는 표준 적대적 훈련 및 VAT와 같은 다른 정규화 기법보다 어떻게 비교되는가?
• RQ4 GraphAT는 연결된 노드 간의 예측 분산을 어느 정도 감소시켜 구조적 스무쓰니스를 향상시키는가?
• RQ5 GraphAT는 적대적 공격에 대한 강건성을 향상시키는 동안 훈련 수렴 속도를 유지하는가?

주요 결과

• GraphAT는 Citeseer, Cora, NELL을 포함한 세 가지 기준 데이터셋에서 표준 GCN 훈련 대비 평균 4.51%의 노드 분류 정확도 향상을 달성한다.
• ε = 0.01인 적대적 예제에서 GCN은 평균 13.9%의 정확도 하락을 겪지만, GraphAT는 오직 2.9%의 하락만 보이며, 훨씬 뛰어난 강건성을 보여준다.
• GraphAT는 연결된 노드 쌍의 예측 간 쿨백-라이블러 발산을 감소시킨다—Citeseer에서는 3.8%, Cora에서는 10.4% 감소하여 더 강한 구조적 스무쓰니스를 나타낸다.
• Virtual Adversarial Training(VAT)을 사용한 훈련보다 GraphAT가 승리하며, 그래프에서의 강건성 향상에 있어 구조 인지 적대적 정규화가 표준 적대적 훈련보다 더 효과적임을 입증한다.
• GraphAT는 초기 훈련 에포크에서 성능 향상이 빠르게 나타나며, 이는 정규화 외에도 적대적 예제에 의한 데이터 증강 효과 때문일 것이다.
• GraphAT는 수렴 속도를 저하시키지 않으며, 표준 GCN와 마찬가지로 100 에포크 후에 훈련 정확도가 안정화된다.