[논문 리뷰] Metropolis-Hastings Data Augmentation for Graph Neural Networks

Hyeonjin Park, Seunghun Lee외 6명|arXiv (Cornell University)|2022. 03. 26.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

이 논문은 그래프 신경망을 위한 통제 가능하고 다양한 데이터 증강을 가능하게 하는 새로운 프레임워크인 메트로폴리스-해스팅스 데이터 증강(MH-Aug)을 제안한다. 이 프레임워크는 명시적인 목표 분포에서 마르코프 체인 몬테카를로 샘플링을 사용하여 그래프 증강을 생성하며, 이를 통해 반도체 학습에서 GNN의 일반화 성능을 향상시킨다. MH-Aug는 다섯 개인 기준 데이터셋에서 최신 기술 성능을 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) often suffer from weak-generalization due to sparsely labeled data despite their promising results on various graph-based tasks. Data augmentation is a prevalent remedy to improve the generalization ability of models in many domains. However, due to the non-Euclidean nature of data space and the dependencies between samples, designing effective augmentation on graphs is challenging. In this paper, we propose a novel framework Metropolis-Hastings Data Augmentation (MH-Aug) that draws augmented graphs from an explicit target distribution for semi-supervised learning. MH-Aug produces a sequence of augmented graphs from the target distribution enables flexible control of the strength and diversity of augmentation. Since the direct sampling from the complex target distribution is challenging, we adopt the Metropolis-Hastings algorithm to obtain the augmented samples. We also propose a simple and effective semi-supervised learning strategy with generated samples from MH-Aug. Our extensive experiments demonstrate that MH-Aug can generate a sequence of samples according to the target distribution to significantly improve the performance of GNNs.

연구 동기 및 목표

• 그래프 구조 데이터에서 레이블이 희소한 것 때문에 발생하는 그래프 신경망(GNNs)의 일반화 성능 열악함을 해결하기 위해.
• 비유클리드 구조와 노드 간 의존성으로 인해 그래프에 대한 효과적이고 레이블 유지형 데이터 증강을 설계하는 데 도전하는 문제를 해결하기 위해.
• 명시적인 목표 분포를 통해 증강 강도와 다양성에 대한 명확한 제어를 가능하게 하기 위해.
• 연속적으로 생성된 증강 샘플을 활용하는 반도체 학습 전략을 개발하여 모델 성능을 향상시키기 위해.

제안 방법

• MH-Aug는 데이터 증강을 명시적인 목표 분포에서 마르코프 체인 몬테카를로(MCMC) 샘플링 문제로 재정의하여 목표 분포에서 증강된 그래프를 추출한다.
• 목표 분포를 엣지 제거 확률을 통해 그래프 수정에 대해 정의하며, 이를 통해 원하는 증강 강도와 다양성을 제어하는 평균($\mu_{\mathcal{E}}$) 및 표준편차($\sigma_{\mathcal{E}}$) 파라미터를 사용한다.
• 가능한 부분그래프의 조합 폭발을 고려하기 위해 목표 분포에 정규화 항을 포함시켜 기대되는 그래프 변화 비율에 대한 정확한 제어를 보장한다.
• MH-Aug는 복잡한 목표 분포에서 직접 샘플링이 불가능하므로 메트로폴리스-해스팅스 알고리즘을 사용하여 원하는 분포로 수렴하도록 한다.
• 대상 노드 주변의 구조적 변화를 측정하기 위해 에고그래프 관점을 도입하여 더 해석 가능하고 효과적인 변형을 가능하게 한다.
• 동일한 그래프에 대한 다중 증강 시각을 활용하여 비슷한 학습에 통합하고, 비슷한 학습을 통해 정규화를 적용한다.

실험 결과

연구 질문

• RQ1 MCMC 기반 샘플링은 GNN에 대해 효과적으로 다양하고 레이블 유지형 그래프 증강을 생성할 수 있는가?
• RQ2 제안된 목표 분포는 증강 강도와 다양성에 대해 명시적이고 해석 가능한 제어를 가능하게 하는가?
• RQ3 복잡한 그래프 구조에서도 실질적으로 MH-Aug가 원하는 목표 분포로 수렴하는가?
• RQ4 MH-Aug는 일관성 학습과 효과적으로 통합되어 반도체 학습에서 GNN 성능을 향상시킬 수 있는가?
• RQ5 다양한 그래프 데이터셋에서 일반화 및 내성성 측면에서 기존의 데이터 증강 기준과 비교해 볼 때 MH-Aug는 어떤가?

주요 결과

• MH-Aug는 실험적 샘플링을 통해 격자 그래프에서 목표 분포로 수렴하는 증강 그래프의 시퀀스를 성공적으로 생성한다.
• 목표 분포에 정규화 항을 포함시키는 것이 특히 밀도가 높은 그래프에서 기대되는 그래프 변화 비율에 대한 정확한 제어를 확보하는 데 필수적이다.
• MH-Aug는 증강 강도와 다양성에 대해 탄력적인 제어를 가능하게 한다: $\mu_{\mathcal{E}}$를 증가시키면 더 큰 구조적 변화가 발생하고, $\sigma_{\mathcal{E}}$를 증가시키면 더 균일한 엣지 제거 확률이 된다.
• 표현된 경우 $\sigma_{\mathcal{E}}$가 클 때는 DropEdge가 특수한 경우로 포함되며, 이는 그 일반성과 이전 연구와의 일관성을 확인한다.
• MH-Aug는 노드 분류 과제에서 다섯 개의 기준 데이터셋에서 최신 기술 성능을 달성하며, 강력한 기준 대비 일관되고 뚜렷한 향상을 보여준다.
• 제거 실험 결과는 정규화가 필수적임을 확인한다 — 정규화 없이서는 기대 평균 그래프 변화 비율이 목표 $\mu_{\mathcal{E}}$와 일치하지 않으며, 바람직하지 않은 분포로 수렴함을 시사한다.