[논문 리뷰] Graph Condensation via Receptive Field Distribution Matching

Mengyang Liu, Shanchuan Li외 2명|arXiv (Cornell University)|2022. 06. 28.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 최대 평균 차이(MMD)를 사용하여 원본 그래프의 수용장역분포를 일치시켜 소형이고 정보량이 풍부한 그래프를 합성하는 그래프 압축 기법인 수용장역분포 일치를 통한 그래프 압축(GCDM)을 제안한다. GCDM는 99%의 그래프 크기 감소, Flickr에서 최대 97.6%의 테스트 정확도, GCOND 대비 3배 빠른 압축 속도를 달성하며, 다양한 GNN 아키텍처에 걸쳐 일반화 가능하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph neural networks (GNNs) enable the analysis of graphs using deep learning, with promising results in capturing structured information in graphs. This paper focuses on creating a small graph to represent the original graph, so that GNNs trained on the size-reduced graph can make accurate predictions. We view the original graph as a distribution of receptive fields and aim to synthesize a small graph whose receptive fields share a similar distribution. Thus, we propose Graph Condesation via Receptive Field Distribution Matching (GCDM), which is accomplished by optimizing the synthetic graph through the use of a distribution matching loss quantified by maximum mean discrepancy (MMD). Additionally, we demonstrate that the synthetic graph generated by GCDM is highly generalizable to a variety of models in evaluation phase and that the condensing speed is significantly improved using this framework.

연구 동기 및 목표

• 대규모 그래프에서 GNN 훈련의 높은 계산 비용, 특히 하이퍼파ram터 튜닝 및 아키텍처 탐색 시의 비용을 해결하기 위해.
• 기존 그래프 압축 기법의 한계, 즉 높은 계산 비용과 다양한 GNN 아키텍처 간의 낮은 일반화 능력을 극복하기 위해.
• 원본 그래프의 예측 성능를 유지하면서도 더 효율적이고 일반화 능력이 뛰어난 그래프 압축 프레임워크를 개발하기 위해.
• 작고 대표적인 합성 그래프를 생성하여 빠른 모델 재훈련 및 신경망 아키텍처 탐색을 가능하게 하기 위해.

제안 방법

• 이 방법은 원본 그래프를 수용장역분포의 분포로 간주함으로써 그래프 압축을 분포 일치 문제로 공식화한다.
• 수용장역분포 간의 거리를 측정하기 위해 최대 평균 차이(MMD)를 사용한다.
• 두 번째 순서의 기울기 또는 모델에 특화된 훈련 동역학을 요구하지 않고, MMD 손실을 최소화함으로써 합성 그래프를 종단 간 최적화한다.
• 수용장역은 GNN 메시지 전달 메커니즘에 기반하여 정의되며, 노드 간의 구조적 및 특징적 의존성을 포괄한다.
• 특정 GNN 모델의 기울기에 의존하지 않기 때문에 아키텍처에 관계없이 적용 가능하다.
• 원본 그래프의 인덕티브 바이어스를 유지하는 고정밀도의 소형 합성 그래프를 생성함으로써 효율적인 훈련 및 추론을 지원한다.

실험 결과

연구 질문

• RQ1 MMD를 통한 수용장역분포 일치가 원본 그래프와 비교해 유사한 예측 성능을 유지하는 합성 그래프를 생성할 수 있는가?
• RQ2 GIN, GCN, SAGE와 같은 다양한 GNN 아키텍처 간에서 GCDM의 일반화 능력은 어떻게 평가되는가?
• RQ3 압축 과정에서 두 번째 순서 기울기 계산을 제거함으로써 훈련 효율성이 크게 향상되며 정확도 손실 없이도 성능이 유지되는가?
• RQ4 기존 방법인 GCOND과 비교해 GCDM의 성능는 증가하는 압축 그래프 크기와 함께 어떻게 변화하는가?
• RQ5 압축된 그래프의 노드 특징 시각화 결과는 기존 방법 대비 더 나은 구조적 클러스터링을 반영하는가?

주요 결과

• Flickr 데이터셋에서 GCDM은 그래프 크기를 99.5% 감소시킨 상태에서 원본 테스트 정확도의 97.6%를 달성한다.
• Ogbn-arxiv에서 GCDM은 원본 그래프 크기의 1%로 90.6%의 테스트 정확도를 기록하며, 일반화 능력에서 GCOND을 능가한다.
• Cora, CiteSeer, PubMed에 대해서는 GCDM이 99%의 그래프 크기 감소로 99%의 테스트 정확도를 달성하여 인용 네트워크에서 뛰어난 성능을 보인다.
• GCOND 대비 70% 이상의 압축 시간 감소를 기록한다—ogbn-arxiv에서 50 에포크 기준으로 1,782 GPU 초 대비 5,960 GPU 초이다.
• GCDM은 다양한 GNN 모델 간에 잘 일반화된다: GIN을 사용할 경우 Flickr에서 42.5%의 정확도를 기록하며, GCOND의 38.8%를 상회한다.
• 시각화 결과 GCDM이 생성한 그래프는 GCOND 대비 더 잘 군집화된 노드 특징 표현을 보이며, 더 나은 구조적 유지 능력을 나타낸다.