[논문 리뷰] Self-Supervised Continual Graph Learning in Adaptive Riemannian Spaces

Li Sun, Junda Ye외 3명|arXiv (Cornell University)|2022. 11. 30.

Medical Imaging and Analysis인용 수 5

한 줄 요약

이 논문은 적응형 리만 공간 내에서 자기지도 지속적 그래프 학습 프레임워크인 RieGrace를 제안한다. 적응형 리만 GCN(AdaRGCN)을 도입하여 들어오는 각 그래프에 대해 곡률을 동적으로 조정하고, 레이블이 없는 러멘츠 정수화 방법을 통해 지식 정수화를 실시한다. 이는 레이블이 필요 없이도 최신 기술 성능을 달성하면서 치명적인 잊힘 현상을 완화한다.

ABSTRACT

Continual graph learning routinely finds its role in a variety of real-world applications where the graph data with different tasks come sequentially. Despite the success of prior works, it still faces great challenges. On the one hand, existing methods work with the zero-curvature Euclidean space, and largely ignore the fact that curvature varies over the coming graph sequence. On the other hand, continual learners in the literature rely on abundant labels, but labeling graph in practice is particularly hard especially for the continuously emerging graphs on-the-fly. To address the aforementioned challenges, we propose to explore a challenging yet practical problem, the self-supervised continual graph learning in adaptive Riemannian spaces. In this paper, we propose a novel self-supervised Riemannian Graph Continual Learner (RieGrace). In RieGrace, we first design an Adaptive Riemannian GCN (AdaRGCN), a unified GCN coupled with a neural curvature adapter, so that Riemannian space is shaped by the learnt curvature adaptive to each graph. Then, we present a Label-free Lorentz Distillation approach, in which we create teacher-student AdaRGCN for the graph sequence. The student successively performs intra-distillation from itself and inter-distillation from the teacher so as to consolidate knowledge without catastrophic forgetting. In particular, we propose a theoretically grounded Generalized Lorentz Projection for the contrastive distillation in Riemannian space. Extensive experiments on the benchmark datasets show the superiority of RieGrace, and additionally, we investigate on how curvature changes over the graph sequence.

연구 동기 및 목표

• 기존 방법이 고정된 유클리드 기하학에 의존하는 비유클리드이자 곡률이 변화하는 리만 공간에서의 지속적 그래프 학습 과제를 해결하기 위해.
• 지속적 그래프 학습에서 풍부한 레이블에 의존하는 문제를 해결하기 위해, 감독 없이 자기지도 지식 통합을 가능하게 하기 위해.
• 각 들어오는 그래프의 내재 곡률에 따라 초구형 또는 쌍곡 공간으로 자동으로 전환할 수 있는 통합 그래프 신경망을 설계하기 위해.
• 레이블이나 사전 레이블링 데이터가 필요 없이 리만 공간에서의 과제 간 지식 보존을 가능하게 하는 새로운 정수화 메커니즘을 개발하기 위해.
• 기존의 일반화된 러멘츠 투영(Generic Lorentz Projection, GLP)을 통해 비유클리드 공간에서의 대비 정수화를 이론적으로 기반으로 하여, 닫힘성과 기하학적 일관성을 보장하기 위해.

제안 방법

• 들어오는 각 그래프에 대해 곡률을 예측할 수 있는 학습 가능한 CurvNet 모듈을 갖춘 통합 리만 그래프 컬러션 네트워크(RGCN)를 제안하여, 쌍곡 또는 초구형 공간으로의 동적 적응을 가능하게 한다.
• 학생 네트워크가 자신의 중간 레이어에서의 내부 정수화(intra-distillation)와 교사 네트워크에서의 외부 정수화(inter-distillation)를 동시에 수행함으로써 과거 지식을 유지하는, 레이블이 없는 러멘츠 정수화 프레임워크를 도입한다.
• 다른 리만 공간 간의 표현 간 대비 정수화를 가능하게 하기 위해 일반화된 러멘츠 투영(Generic Lorentz Projection, GLP)을 개발하였으며, 이는 다양체 위에서 닫혀 있음을 증명되었고 러멘츠 변환과 관련이 있다.
• 교사-학생 학습 프레임워크를 활용하여 교사는 이전 모델에서 업데이트되고, 학생은 새로운 그래프마다 재초기화되며, 이를 통해 기억 상실 없이 지속적 학습이 가능하도록 한다.
• 실제 레이블에 의존하지 않고 인스턴스 식별을 통한 자기지도 대비 학습을 활용하여 가짜 레이블을 생성함으로써 학습 중 실존 레이블에 대한 의존도를 제거한다.
• 폼안-리치 곡률 기반의 CurvNet을 활용하여 곡률을 엔드 투 엔드로 예측함으로써, 그래프의 구조적 특성에 따라 리만 공간을 모델이 자율적으로 조정할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 순차적으로 도착하는 그래프의 구조적 특성에 맞게 그래프 신경망이 기저 리만 기하학(곡률)을 동적으로 적응시킬 수 있는가?
• RQ2 레이블 데이터에 의존하지 않고 지속적 그래프 학습 과제 간 지식을 효과적으로 통합할 수 있는가?
• RQ3 다른 리만 공간(예: 쌍곡과 구면) 간의 표현 간 효과적인 대비 정수화를 수행할 수 있는가?
• RQ4 그래프 시퀀스 동안 곡률 변화가 표현 품질과 모델 성능에 미치는 영향은 어떠한가?
• RQ5 리만 공간 내 자기지도 지속적 학습 프레임워크가 지속적 그래프 학습에서 감독 기반 기준보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• RieGrace는 벤치마크 데이터셋에서 최신 기술(SOTA) 감독 기반 지속적 그래프 학습 방법을 능가하며, 이 분야에서 자기지도 학습의 효과성을 입증한다.
• ogbn-arXiv에서 테스트 정확도 0.435 (±0.027)를 달성하여 ComC 및 ZeroC와 같은 감독 기반 방법조차도 초월한다.
• 곡률 적응은 효과적이다: ogbn-arXiv 시퀀스에서 연속된 그래프에 대해 각각 0.227, -0.536, -1.073의 별도 곡률을 학습하며, 이는 구조적 적응을 의미한다.
• 곡률이 그래프의 내재 기하학과 일치할 때 임베딩 왜곡이 최소화되며, 각 그래프의 최적 곡률에서 가장 낮은 왜곡(0.367)이 관찰된다.
• 일반화된 러멘츠 투영(Generic Lorentz Projection, GLP)은 리만 다양체 위에서 수학적으로 닫혀 있으며, 공간 간 정수화를 위한 안정적 기반을 제공한다.
• 절단 실험 결과, CurvNet과 레이블 없는 러멘츠 정수화 모두 성능 향상에 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 정확도가 크게 떨어진다.