[논문 리뷰] G-Mixup: Graph Data Augmentation for Graph Classification

Xiaotian Han, Zhimeng Jiang외 2명|arXiv (Cornell University)|2022. 02. 15.

Advanced Graph Neural Networks인용 수 44

한 줄 요약

G-Mixup은 그래프 분류를 위한 그래프온 기반의 Mixup을 도입하여 클래스 그래프온을 보간해 합성 그래프를 생성하고, 데이터셋과 아키텍처 전반에 걸친 GNN 일반화 및 강인성을 향상시킵니다.

ABSTRACT

This work develops \emph{mixup for graph data}. Mixup has shown superiority in improving the generalization and robustness of neural networks by interpolating features and labels between two random samples. Traditionally, Mixup can work on regular, grid-like, and Euclidean data such as image or tabular data. However, it is challenging to directly adopt Mixup to augment graph data because different graphs typically: 1) have different numbers of nodes; 2) are not readily aligned; and 3) have unique typologies in non-Euclidean space. To this end, we propose $\mathcal{G}$-Mixup to augment graphs for graph classification by interpolating the generator (i.e., graphon) of different classes of graphs. Specifically, we first use graphs within the same class to estimate a graphon. Then, instead of directly manipulating graphs, we interpolate graphons of different classes in the Euclidean space to get mixed graphons, where the synthetic graphs are generated through sampling based on the mixed graphons. Extensive experiments show that $\mathcal{G}$-Mixup substantially improves the generalization and robustness of GNNs.

연구 동기 및 목표

• 그래프 인스턴스 간 정보가 전달되는 그래프 데이터 증강(그래프 간 증강)을 동기 부여한다.
• 그래프를 그들의 그래프온으로 혼합하여 합성 그래프를 생성하는 principled한 방법을 개발한다.
• 혼합된 그래프가 원래 클래스의 식별 모티프를 보존한다는 이론적 보장을 제공한다.
• 다양한 GNN과 데이터셋에 걸쳐 분류 성능과 강인성의 실증적 향상을 보여준다.

제안 방법

• 각 클래스를 단계 함수 근사로 추정된 그래프온으로 표현한다.
• 클래스 간 보간을 위해 혼합 그래프온 W_I = lambda W_G + (1-lambda) W_H를 계산한다.
• 클래스 간 보간을 통해 합성 그래프를 생성하기 위해 i.i.d. 노드 위치를 가진 G(K, W_I)에서 샘플링한다.
• 레이블 공간의 믹스를 반영하도록 합성 레이블을 y_I = lambda y_G + (1-lambda) y_H으로 부여한다.
• 그래프온 믹업에서 판별 모티프의 동형합성도 변화에 대한 경계를 보이는 이론적 분석을 제공한다.
• DropEdge 및 매니폴드/에지 교란 전략과 같은 기존 증강 방법과의 관계 및 특수 사례를 논의한다.

실험 결과

연구 질문

• RQ1 서로 다른 그래프 클래스의 판별 모티프가 혼합된 그래프온 및 결과 그래프에서 보존될 수 있는가?
• RQ2 혼합 그래프온에서 생성된 그래프가 원래 클래스의 구조적 특성의 혼합을 유지하는가?
• RQ3 G-Mixup이 데이터셋과 백본 전반에 걸쳐 GNN의 정확도, 일반화 및 학습 안정성을 향상시키는가?
• RQ4 표준 증강 방법과 비교하여 레이블 노이즈 및 토폴로지 손상에 대해 G-Mixup이 얼마나 강건한가?

주요 결과

• G-Mixup은 다양한 GNN 백본과 데이터셋에서 그래프 분류 성능을 크게 향상시키며(평균 증가율 2.84%로 일반 모델 대비).
• 보고된 실험에서 G-Mixup은 15개 중 12개에서 최상위 정확도를 달성하고 레이블 부정확성 및 토폴로지 섭동에 대한 강건성을 강화한다.
• 방법은 트레이닝을 안정화시키며, 테스트 손실이 낮고 베이스라인에 비해 성능 변동이 감소하는 것이 관찰된다.
• 합성 그래프온에서 나온 그래프는 소스 클래스의 판별 모티프의 혼합을 시각적으로 보여준다(예: 고차 노드 및 밀집 부분그래프).
• 이론적 결과는 그래프온 믹업에서 판별 모티프 밀도의 변화를 한정하고 충분한 샘플에서 모티프 보존의 수렴 특성을 보인다.