[논문 리뷰] CaT: Balanced Continual Graph Learning with Graph Condensation

Yilun Liu, Ruihong Qiu외 1명|arXiv (Cornell University)|2023. 09. 18.

Domain Adaptation and Few-Shot LearningComputer Science인용 수 3

한 줄 요약

이 논문은 그래프 압축을 통해 압축된 정보가 풍부한 메모리 백 (압축된 그래프 메모리, CGM)를 생성하고, Training-in-Memory (TiM) 전략을 통해 모델 업데이트를 균형 있게 조절하는 새로운 프레임워크 CaT를 제안한다. 학습 도중 큰 도착 그래프를 압축된 합성 그래프로 대체함으로써 CaT는 데이터 불균형과 치명적인 잊힘 문제를 완화하고, 보다 효율적인 성능을 달성하며 벤치마크 데이터셋에서 최신 기술 수준의 성능을 기록한다.

ABSTRACT

Continual graph learning (CGL) is purposed to continuously update a graph model with graph data being fed in a streaming manner. Since the model easily forgets previously learned knowledge when training with new-coming data, the catastrophic forgetting problem has been the major focus in CGL. Recent replay-based methods intend to solve this problem by updating the model using both (1) the entire new-coming data and (2) a sampling-based memory bank that stores replayed graphs to approximate the distribution of historical data. After updating the model, a new replayed graph sampled from the incoming graph will be added to the existing memory bank. Despite these methods are intuitive and effective for the CGL, two issues are identified in this paper. Firstly, most sampling-based methods struggle to fully capture the historical distribution when the storage budget is tight. Secondly, a significant data imbalance exists in terms of the scales of the complex new-coming graph data and the lightweight memory bank, resulting in unbalanced training. To solve these issues, a Condense and Train (CaT) framework is proposed in this paper. Prior to each model update, the new-coming graph is condensed to a small yet informative synthesised replayed graph, which is then stored in a Condensed Graph Memory with historical replay graphs. In the continual learning phase, a Training in Memory scheme is used to update the model directly with the Condensed Graph Memory rather than the whole new-coming graph, which alleviates the data imbalance problem. Extensive experiments conducted on four benchmark datasets successfully demonstrate superior performances of the proposed CaT framework in terms of effectiveness and efficiency. The code has been released on https://github.com/superallen13/CaT-CGL.

연구 동기 및 목표

• 재현 기반 지속적 그래프 학습(CGL)에서 큰 도착 그래프가 작은 재현 그래프보다 학습에 지배적인 데이터 불균형 문제를 해결하기 위해.
• 제한된 스토리지 예산 하에서 샘플링 기반 메모리 백의 표현 능력이 제한되는 문제를 극복하기 위해.
• 역사적 데이터와 도착 데이터 간의 학습 균형을 조절하여 모델의 안정성과 성능을 향상시키기 위해.
• 기존 재현 기반 CGL 방법에 아키텍처 변경 없이 통합 가능한 플러그 앤 플레이 솔루션을 제안하기 위해.

제안 방법

• 다양한 도착 그래프를 미분 가능 그래프 압축을 통해 작은 정보가 풍부한 합성 그래프로 압축함으로써, 동적으로 업데이트되는 압축된 그래프 메모리(CGM)를 구성한다.
• 전체 배치 학습을 도착 그래프에 대해 수행하는 대신, CGM에서만 학습하는 Training-in-Memory (TiM) 기법을 적용하여 최적화 과정에서 데이터 스케일의 균형을 확보한다.
• 구조적 및 특징 정보를 유지하면서 크기를 최소화하기 위해, 그래프 압축은 미분 가능 최적화를 통해 수행된다.
• 기존 재현 기반 CGL 방법과 유사하게 플러그 앤 플레이 방식으로 통합 가능하여, 프레임워크의 유연성을 확보한다.
• 고정된 스토리지 예산 하에서 CGM을 유지함으로써 계산 및 메모리 효율성을 보장한다.
• 다양한 GNN 인코더(GCN, SGC)와 데이터셋(CoraFull, Arxiv, Reddit, Products)을 대상으로 평가하여 프레임워크의 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 지속적 그래프 학습에서 큰 도착 그래프를 효과적으로 압축된 합성 그래프로 대체할 수 있는가? 이는 모델 성능을 유지하는가?
• RQ2 압축된 메모리 백에서만 학습하는(TiM) 전략이 데이터 불균형 문제를 완화하고 치명적인 잊힘을 줄이는가?
• RQ3 다양한 스토리지 예산 조건에서 CaT의 성능은 기존 재현 기반 CGL 방법과 비교해 어떻게 되는가?
• RQ4 TiM 기법은 기존 재현 기반 CGL 프레임워크를 보완하기 위해 일반적으로 적용 가능한가?
• RQ5 CaT의 성능는 그래프 인코더의 선택과 메모리 예산에 얼마나 민감한가?

주요 결과

• CaT는 모든 네 가지 벤치마크 데이터셋(CoraFull, Arxiv, Reddit, Products)에서 작업-IL 및 클래스-IL 설정 모두에서 최신 기술 수준의 성능을 달성한다.
• 0.01의 스토리지 비율 예산 조건에서 CaT는 Products 데이터셋에서 평균 81.7% 성능을 기록하며, 동일 조건에서 SSM(74.6%)과 ER-GNN(42.8%)를 크게 앞서나간다.
• TiM 기법은 모든 방법의 평균 성능을 향상시킨다. 예를 들어, SSM의 성능은 Reddit에서 TiM 적용 시 92.8%에서 92.8%로 유지되며, CGM에 TiM를 적용한 경우 Products에서 81.7%의 성능을 기록한다.
• 시각화 결과 CaT와 TiM의 조합이 치명적인 잊힘을 크게 감소시킴을 입증한다. 이는 다양한 작업 간에 일관된 성능 매트릭스를 보여준다.
• 다양한 그래프 인코더에 대해 프레임워크가 강건함을 확인: GCN과 SGC 모두 뛰어난 성능을 기록하며, 매우 낮은 예산 조건에서는 GCN이 약간 더 우수한 성능을 보인다.
• 광범위한 추상화 분석을 통해 CGM과 TiM가 모두 필수적임을 입증: 둘 중 하나를 제거하면 성능 저하가 발생함을 확인하여, 이들의 상호보완적 역할을 검증한다.