[논문 리뷰] Robust Optimization as Data Augmentation for Large-scale Graphs

Kezhi Kong, Guohao Li외 6명|arXiv (Cornell University)|2020. 10. 19.

Advanced Graph Neural Networks인용 수 10

한 줄 요약

이 논문은 그래프 신경망을 위한 일반적이고 확장 가능한 데이터 증강 방법인 FLAG를 제안한다. 학습 중에 노드 특징에 자유롭고 기울기 기반의 적대적 편향을 적용함으로써 일반화 성능을 향상시킨다. 그래프 구조를 수정하지 않고도 작은 입력 변동에 대해 모델의 강건성을 높임으로써, 노드 분류, 링크 예측, 그래프 분류 작업 전반에서 테스트 정확도를 향상시킨다. GAT를 사용할 경우 ogbn-products에서 2.31%의 절대적 성능 향상을 달성한다.

ABSTRACT

Data augmentation helps neural networks generalize better by enlarging the training set, but it remains an open question how to effectively augment graph data to enhance the performance of GNNs (Graph Neural Networks). While most existing graph regularizers focus on manipulating graph topological structures by adding/removing edges, we offer a method to augment node features for better performance. We propose FLAG (Free Large-scale Adversarial Augmentation on Graphs), which iteratively augments node features with gradient-based adversarial perturbations during training. By making the model invariant to small fluctuations in input data, our method helps models generalize to out-of-distribution samples and boosts model performance at test time. FLAG is a general-purpose approach for graph data, which universally works in node classification, link prediction, and graph classification tasks. FLAG is also highly flexible and scalable, and is deployable with arbitrary GNN backbones and large-scale datasets. We demonstrate the efficacy and stability of our method through extensive experiments and ablation studies. We also provide intuitive observations for a deeper understanding of our method.

연구 동기 및 목표

• 대규모 실세계 그래프 데이터셋에서 학습된 GNN의 과적합 및 낮은 일반화 성능 문제를 해결한다.
• 특히 노드 특징 공간에서 효과적인 그래프 구조 데이터의 증강 기법이 부족한 문제를 해결한다.
• 그래프 구조를 수정하지 않으며 작업에 특화된 설계가 필요 없는 확장 가능하고 일반적인 방법을 개발한다.
• 특징 공간에서의 적대적 훈련이 일반화 성능을 향상시킬 수 있는지 조사한다. 특히 분포 외 샘플에 대해 성능 향상 여부를 확인한다.
• 그래프 학습에서의 적대적 증강이 비전 분야와 다르게 작동하는지, 입력 데이터 분포에 따라 어떻게 달라지는지 밝혀낸다.

제안 방법

• 학습 중에 노드 특징에 직접 기울기 기반의 적대적 편향을 적용하는 FLAG(Free Large-scale Adversarial Augmentation on Graphs)를 제안한다.
• Sh프하히 등(2019)이 제안한 '자유' 적대적 훈련 기법을 활용하여 최소한의 계산 오버헤드로 편향을 효율적으로 생성한다.
• 다양한 편향 크기에서의 강건성을 향상시키고 일반화 성능을 높이기 위해 다중 척도의 적대적 증강을 적용한다.
• 그래프 구조는 그대로 유지하면서 노드 특징만 수정함으로써, 구조 기반 증강 기법과 수직적이다.
• PyTorch 기반으로 GCN, GAT, GraphSAGE, GIN, DeeperGCN 등 다양한 GNN 백본에 최소한의 코드 수정(십여 줄 내외)으로 통합할 수 있다.
• 손실 함수를 최대화하면서도 레이블 일관성을 유지하는 방식으로 반복적인 FGSM 스타일의 적대적 예제를 생성한다.

실험 결과

연구 질문

• RQ1 그래프 구조가 그대로 유지되는 상황에서 노드 특징 공간의 적대적 편향이 GNN의 일반화 성능 향상에 기여할 수 있는가?
• RQ2 특징 공간에서의 적대적 증강이 구조 기반 증강과 비교해 성능 및 확장성 측면에서 어떻게 다른가?
• RQ3 특징 공간에서의 적대적 증강의 효과가 노드 특징의 데이터 분포, 특히 이산형 대비 연속형 특징에 따라 달라지는가?
• RQ4 일반적으로 표준 성능을 해칠 것이라 여겨지는 적대적 훈련이 실제로 GNN의 정확도를 향상시킬 수 있는가?
• RQ5 FLAG는 대규모 벤치마크에서 다양한 GNN 아키텍처와 작업(노드, 링크, 그래프 분류)에 대해 어떻게 성능을 발휘하는가?

주요 결과

• GAT에 FLAG를 적용했을 때 ogbn-products에서 테스트 정확도가 2.31% 향상되어 노드 분류 과제에서 뚜렷한 성능 향상을 입증한다.
• ogbl-ddi에서 링크 예측 성능이 향상되어 다양한 GNN 백본에서 hits@20 점수를 높였다.
• ogbg-molhiv에서 그래프 분류 정확도가 향상되었으며, GIN 및 GraphSAGE를 포함한 다양한 GNN 아키텍처에서 일관된 성능 향상을 보였다.
• DeeperGCN과 같이 깊은 GNN 아키텍처에서도 FLAG는 ogbn-arxiv에서 깊이가 증가함에 따라 일관된 정확도 향상을 보였다.
• MLP의 경우 ogbn-products(61.06% → 62.41%) 및 ogbn-arxiv(55.50% → 56.02%)에서 성능 향상을 보이며, GNN을 넘어서는 유효성을 입증했다.
• 노드 특징의 구성 방식이 성능에 민감하게 영향을 미치며, 'mean' 대신 'sum' 특징을 사용할 경우 더 높은 불변성과 FLAG 적용 시 성능 향상이 이루어졌다.