[논문 리뷰] Continual Graph Learning: A Survey

Qiao Yuan, Sheng-Uei Guan외 5명|arXiv (Cornell University)|2023. 01. 28.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 종합 검토는 재편성된 그래프 구조 데이터에서의 점진적 학습을 위한 새로운 개념인 지속적 그래프 학습(CGL)을 소개한다. 이는 정규화, 재생, 아키텍처 기반 방법을 통해 참격적 잊음 문제를 해결한다. 그래프 구조의 특성으로 인해 발생하는 샘플 수준 및 그래프 수준의 종속성이라는 두 가지 고유한 과제를 규명하고, 동적 그래프 응용 분야에서 CGL 접근법, 벤치마크, 열린 문제에 대한 종합적인 검토를 제공한다.

ABSTRACT

Research on continual learning (CL) mainly focuses on data represented in the Euclidean space, while research on graph-structured data is scarce. Furthermore, most graph learning models are tailored for static graphs. However, graphs usually evolve continually in the real world. Catastrophic forgetting also emerges in graph learning models when being trained incrementally. This leads to the need to develop robust, effective and efficient continual graph learning approaches. Continual graph learning (CGL) is an emerging area aiming to realize continual learning on graph-structured data. This survey is written to shed light on this emerging area. It introduces the basic concepts of CGL and highlights two unique challenges brought by graphs. Then it reviews and categorizes recent state-of-the-art approaches, analyzing their strategies to tackle the unique challenges in CGL. Besides, it discusses the main concerns in each family of CGL methods, offering potential solutions. Finally, it explores the open issues and potential applications of CGL.

연구 동기 및 목표

• 유럽형 데이터에 비해 아직 미흡하게 다뤄지고 있는 그래프 구조 데이터에 초점을 맞춘 지속적 학습 연구의 격차를 메우기 위해.
• CGL에서 발생하는 두 가지 고유한 과제인 샘플 수준 종속성(노드 연결성)과 그래프 수준 종속성(그래프 구조의 시간적 변화)을 규명하고 형식화하기 위해.
• 최신 CGL 방법을 정규화 기반, 재생 기반, 아키텍처 기반으로 체계적으로 분류하고 분석하기 위해.
• 각 방법군에서의 주요 고려사항, 즉 구조 정보 유지, 샘플링 전략, 파라미터 격리 등을 논의하기 위해.
• CGL의 열린 문제와 잠재적 응용 분야, 특히 교통 네트워크, 소셜 네트워크, 금융 시스템 등에서의 모델 설계에 있어 도출되는 구체적 과제를 탐색하기 위해.

제안 방법

• CGL의 이론적 기반을 마련하기 위해 지속적 학습(CL)과 그래프 학습(GL)의 기초를 재검토한다.
• CL 철학에 기반한 CGL 방법의 분류 체계를 제안한다: 정규화, 재생, 아키텍처 적응으로 나누며, 이를 그래프 구조에 맞게 조정한다.
• 그래프 수준 종속성과 샘플 수준 종속성을 핵심 과제로 도입한다: 첫 번째는 변화하는 그래프 구조로 인한 것이고, 두 번째는 노드 간 상호의존성으로 인한 것이다.
• 기존 CGL 방법이 구조 정보를 어떻게 인코딩하는지 분석한다: 예를 들어 이질적 그래프에서는 메타패스를 활용하거나, 상호작용 중요도를 위해 인접 행렬 정규화를 사용한다.
• 재생 전략은 효과적인 메모리 샘플링을 위해 그래프 구조를 활용해야 하며, 정규화 방법은 구조적 불변성을 유지해야 한다고 제안한다.
• 아키텍처 기반 방법은 점진적 학습 중 파라미터 격리 또는 보호를 위한 기준으로 그래프 구조의 역할을 고려해야 한다고 제안한다.

실험 결과

연구 질문

• RQ1 표준 CL 철학을 초월하여 그래프 구조 데이터가 지속적 학습에서 유도하는 고유한 과제는 무엇인가?
• RQ2 샘플 수준 종속성과 그래프 수준 종속성이 변화하는 그래프에서 지식 유지 및 참격적 잊음에 어떤 영향을 미치는가?
• RQ3 기존 CGL 방법들이 표준 CL 전략(정규화, 재생, 아키텍처)을 그래프 구조를 유지하는 데 얼마나 효과적으로 적용하는가?
• RQ4 현재 CGL 벤치마크와 평가 지표는 실제 그래프 동적 특성을 얼마나 잘 반영하고 있는가?
• RQ5 CGL의 가장 유망한 응용 분야는 무엇이며, 이러한 분야는 모델 설계에 있어 어떤 구체적 과제를 유도하는가?

주요 결과

• 표준 CL과 마찬가지로, 변화하는 그래프에서 점진적 학습을 수행할 경우 참격적 잊음 문제가 그래프 학습에서도 심각한 문제로 작용한다.
• 그래프 구조 데이터는 샘플 수준 종속성(노드 연결성으로 인한 것)과 그래프 수준 종속성(시간에 따른 그래프 구조 변화로 인한 것)이라는 두 가지 새로운 과제를 도입한다.
• 대부분의 기존 CGL 방법들은 그래프의 구조적 특성을 고려하지 않고 표준 CL 기법을 그대로 적용함으로써 최적의 성능을 내지 못한다.
• 정규화 기반 CGL 방법은 단지 특징 표현 외에도 노드 간 거리 또는 부분그래프 구조와 같은 구조적 불변성을 유지해야 한다.
• 재생 기반 접근법은 구조적으로 중요한 노드나 부분그래프를 우선적으로 샘플링하기 위해 그래프 구조를 활용함으로써 향상시킬 수 있다.
• CGL의 아키텍처 기반 방법은 점진적 학습 중 어떤 파라미터를 격리하거나 보호할 것인지 결정할 때 그래프 구조의 역할을 고려해야 한다.