[논문 리뷰] FLAG: Adversarial Data Augmentation for Graph Neural Networks

Kezhi Kong, Guohao Li외 6명|arXiv (Cornell University)|2021. 05. 04.

Advanced Graph Neural Networks참고 문헌 49인용 수 73

한 줄 요약

FLAG는 훈련 중에 그래프 신경망의 노드 특징에 반복적으로 기울기 기반의 적대적 편향을 적용하는 새로운 데이터 증강 방법을 제안한다. 이는 다양한 GNN 백본과 작업에서 일반화 능력을 크게 향상시킨다. 아키텍처나 훈련 방식의 수정 없이도 FLAG는 ogbg-molpcba, ogbg-ppa, ogbg-code와 같은 대규모 그래프 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Data augmentation helps neural networks generalize better, but it remains an open question how to effectively augment graph data to enhance the performance of GNNs (Graph Neural Networks). While most existing graph regularizers focus on augmenting graph topological structures by adding/removing edges, we offer a novel direction to augment in the input node feature space for better performance. We propose a simple but effective solution, FLAG (Free Large-scale Adversarial Augmentation on Graphs), which iteratively augments node features with gradient-based adversarial perturbations during training, and boosts performance at test time. Empirically, FLAG can be easily implemented with a dozen lines of code and is flexible enough to function with any GNN backbone, on a wide variety of large-scale datasets, and in both transductive and inductive settings. Without modifying a model's architecture or training setup, FLAG yields a consistent and salient performance boost across both node and graph classification tasks. Using FLAG, we reach state-of-the-art performance on the large-scale ogbg-molpcba, ogbg-ppa, and ogbg-code datasets.

연구 동기 및 목표

• 그래프 신경망을 위한 효과적인 데이터 증강, 특히 노드 특징 공간에서의 도전 과제를 해결하기 위해.
• 입력 특징 공간에서의 적대적 편향이 위상적 증강을 초월해 GNN의 일반화 능력을 향상시킬 수 있는지 탐구하기 위해.
• 아키텍처 변경 없이 다양한 데이터셋과 설정에서 GNN 성능을 향상시키는 단순하고 즉시 사용 가능한 방법을 개발하기 위해.
• 대규모 그래프 벤치마크에서 추론 학습 및 인도크티브 학습 시나리오 모두에서 일관된 성능 향상을 달성하기 위해.

제안 방법

• FLAG는 훈련 중에 GNN 모델의 기울기 정보를 사용하여 노드 특징에 반복적인 적대적 편향을 적용한다.
• 모델의 손실를 최대화하는 편향을 생성함으로써, 소규모 입력 변동에 대한 강건성을 시뮬레이션한다.
• 편향의 크기나 구조에 제약이 없이 자유형으로 적용되므로 유연성과 확장성이 뛰어나다.
• 편향은 훈련 중에만 적용되며, 모델의 추론 또는 아키텍처를 변경하지 않는다.
• 모든 GNN 백본과 호환되며, 추론 학습 및 인도크티브 학습 설정 모두에서 작동한다.
• 증강은 경량이며, 구현에 단지 십여 줄의 코드만 필요하다.

실험 결과

연구 질문

• RQ1 노드 특징 공간에서의 적대적 편향이 위상적 데이터 증강보다 GNN 일반화 능력을 더 효과적으로 향상시킬 수 있는가?
• RQ2 기울기 기반의 특징 공간 증강 방법이 다양한 GNN 아키텍처와 데이터셋에서 일관된 성능 향상을 가져올 수 있는가?
• RQ3 이러한 방법이 모델 아키텍처나 훈련 절차를 수정하지 않고도 일반적으로 적용될 수 있는가?
• RQ4 제안된 방법은 추론 학습 및 인도크티브 설정 모두에서 대규모 실생활 그래프 데이터셋에서 어떻게 성능을 발휘하는가?

주요 결과

• FLAG는 모델 아키텍처나 훈련 설정을 수정하지 않고도 ogbg-molpcba 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• FLAG는 ogbg-ppa와 ogbg-code에서도 성능 향상을 보이며, 다양한 대규모 그래프 벤치마크에서 일관된 성능 향상을 입증한다.
• 이 방법은 노드 분류 및 그래프 분류 작업 모두에서 일관되고 뚜렷한 성능 향상을 제공한다.
• FLAG는 추론 학습 및 인도크티브 학습 설정 모두에서 효과적이며, 광범위한 적용 가능성을 보여준다.
• 이 방법은 최소한의 코드 변경만 필요하며, 어떤 GNN 백본과도 호환된다.
• 성능 향상은 적대적 특징 증강을 통한 강건성 및 일반화 능력 향상 덕분으로 기인된다.