[논문 리뷰] Batch Virtual Adversarial Training for Graph Convolutional Networks

Zhijie Deng, Yinpeng Dong외 1명|arXiv (Cornell University)|2019. 02. 25.

Advanced Graph Neural Networks참고 문헌 29인용 수 48

한 줄 요약

배치 가상 적대적 학습(BVAT)을 GCN에 도입, 샘플 기반(S-BVAT) 및 최적화 기반(O-BVAT) 변형으로 준지도 학습 노드 분류를 개선하고 다수 벤치마크에서 최첨단 성능을 달성한다.

ABSTRACT

We present batch virtual adversarial training (BVAT), a novel regularization method for graph convolutional networks (GCNs). BVAT addresses the shortcoming of GCNs that do not consider the smoothness of the model's output distribution against local perturbations around the input. We propose two algorithms, sample-based BVAT and optimization-based BVAT, which are suitable to promote the smoothness of the model for graph-structured data by either finding virtual adversarial perturbations for a subset of nodes far from each other or generating virtual adversarial perturbations for all nodes with an optimization process. Extensive experiments on three citation network datasets Cora, Citeseer and Pubmed and a knowledge graph dataset Nell validate the effectiveness of the proposed method, which establishes state-of-the-art results in the semi-supervised node classification tasks.

연구 동기 및 목표

• 로컬 섭동 하에서 GCN의 출력 분포의 매끄러움이 부족한 문제를 제기하고 해결한다.
• 그래프 연결성을 고려하여 perturbations를 설계하는 BVAT 변형을 제안한다.
• 표준 그래프 벤치마크에서 일반화 성능이 향상되고 최첨단 결과를 달성한다.

제안 방법

• 그래프 컨볼루션 네트워크에 가상 적대 학습(VAT)을 확장한다.
• S-BVAT를 제안하여 비중첩 수용영역을 갖는 노드 부분집합에 대해 로컬 섭동을 설계한다.
• 모든 노드에 대해 Perturbations를 최적화하는 Adam 기반 절차를 가진 O-BVAT를 제안한다.
• 배치-그래디언트 프레임워크를 사용하여 LDS 기반 정규화를 효율적으로 계산한다.
• Semi-supervised 설정에서 자신감 있는 예측을 촉진하기 위해 엔트로피 기반 항을 도입한다.
• Perturbation 생성 및 학습 목표에의 통합을 상세히 제시하는 두 가지 알고리즘을 제공한다.

실험 결과

연구 질문

• RQ1 그래프 구조 데이터에서 로컬 섭동 하에서 GCN 출력 분포의 매끄러움을 BVAT가 향상시킬 수 있는가?
• RQ2 S-BVAT와 O-BVAT가 표준 VAT 및 일반 GCN보다 벤치마크 준지도 노드 분류 작업에서 더 우수한가?
• RQ3 대형 그래프에 BVAT 변형을 적용했을 때 계산 및 정확도 측면의 트레이드오프는 무엇인가?

주요 결과

Method	Cora	Citeseer	Pubmed	Nell
ManiReg	59.5	60.1	70.7	21.8
SemiEmb	59.0	59.6	71.1	26.7
LP	68.0	45.3	63.0	26.5
DeepWalk	67.2	43.2	65.3	58.1
Planetoid	75.7	64.7	77.2	61.9
Monet	81.7 ± 0.5	–	78.8 ± 0.3	–
GAT	83.0 ± 0.7	72.5 ± 0.7	79.0 ± 0.3	–
GPNN	81.8	69.7	79.3	63.9
GCN (Kipf & Welling, 2017)	81.5	70.3	79.0	66.0
GCN w/ random perturbations	82.3 ± 2.0	71.4 ± 1.9	79.2 ± 0.6	65.9 ± 1.0
GCN w/ VAT	82.8 ± 0.8	73.0 ± 0.7	79.5 ± 0.3	66.0 ± 1.1
GCN w/ S-BVAT	83.4 ± 0.6	73.1 ± 1.3	79.6 ± 0.5	66.0 ± 0.9
GCN w/ O-BVAT	83.6 ± 0.5	74.0 ± 0.6	79.9 ± 0.4	67.1 ± 0.6

• BVAT 방법은 VAT보다 더 높은 로컬 분포 매끄러움(LDS) 점수를 생성하여 Worst-case 방향과의 적대적 섭동 정렬이 더 강하다는 것을 시사한다.
• BVAT를 적용한 GCN(S-BVAT 및 O-BVAT)은 vanilla GCN 및 무작위 섭동을 사용한 GCN보다 Cora, Citeseer, Pubmed, Nell 전반에서 일관되게 더 우수하다.
• O-BVAT가 최상의 성능을 달성하여 평가된 데이터셋에서 최첨단 결과를 확립한다.
• S-BVAT는 비중첩 수용영역에 초점을 맞춰 계산 효율성과 개선 간의 균형을 제공한다.
• BVAT는 표준 GCN 학습에 비해 추가 계산 비용이 허용 가능한 수준으로 발생한다.