[논문 리뷰] Towards Open Temporal Graph Neural Networks

Kaituo Feng, Changsheng Li외 2명|arXiv (Cornell University)|2023. 03. 27.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 개방형 시간적 그래프 신경망을 위한 새로운 클래스 증분 학습 프레임워크인 OTGNet을 제안한다. 이는 이질성 전파 문제와 치명적 기억 상실 문제를 해결한다. 노드 표현을 클래스에 의존하지 않는 요소와 클래스 관련 요소로 분리하고, 정보 버블 기반 메시지 전파 메커니즘을 사용함으로써, 서로 다른 클래스 간의 갈등적인 특징 집합을 방지한다. 또한, 다양한 중요도를 가진 삼중하위그래프를 선별하여 복습에 활용함으로써, Reddit, Yelp, Taobao 데이터셋에서 최신 기술 수준의 성능을 달성하며 정확도 향상과 기억 상실 감소를 뚜렷이 보였다.

ABSTRACT

Graph neural networks (GNNs) for temporal graphs have recently attracted increasing attentions, where a common assumption is that the class set for nodes is closed. However, in real-world scenarios, it often faces the open set problem with the dynamically increased class set as the time passes by. This will bring two big challenges to the existing dynamic GNN methods: (i) How to dynamically propagate appropriate information in an open temporal graph, where new class nodes are often linked to old class nodes. This case will lead to a sharp contradiction. This is because typical GNNs are prone to make the embeddings of connected nodes become similar, while we expect the embeddings of these two interactive nodes to be distinguishable since they belong to different classes. (ii) How to avoid catastrophic knowledge forgetting over old classes when learning new classes occurred in temporal graphs. In this paper, we propose a general and principled learning approach for open temporal graphs, called OTGNet, with the goal of addressing the above two challenges. We assume the knowledge of a node can be disentangled into class-relevant and class-agnostic one, and thus explore a new message passing mechanism by extending the information bottleneck principle to only propagate class-agnostic knowledge between nodes of different classes, avoiding aggregating conflictive information. Moreover, we devise a strategy to select both important and diverse triad sub-graph structures for effective class-incremental learning. Extensive experiments on three real-world datasets of different domains demonstrate the superiority of our method, compared to the baselines.

연구 동기 및 목표

• 시간이 지남에 따라 동적으로 새로운 클래스가 등장하는 시간적 그래프 신경망에서의 개방형 집합 문제를 해결하기 위해.
• 기존 GNN이 서로 다른 클래스의 노드를 유사한 임베딩으로 몰아넣는 이질성 전파 문제를 해결하기 위해.
• 진화하는 시간적 그래프에서의 지속적 학습 동안 치명적 기억 상실을 완화하기 위해.
• 다른 클래스의 노드 간에 오직 클래스에 의존하지 않는 지식만 전달하는 원칙적인 메시지 전파 메커니즘을 개발하기 위해.
• 지식 복습을 위한 효과적이고 이론적으로 탄탄한 방법으로, 대표적인 삼중하위그래프를 선택하는 방법을 설계하기 위해.

제안 방법

• 클래스 관련 및 클래스에 의존하지 않는 특징을 분리하는 분리된 노드 표현 학습 프레임워크를 제안한다.
• 다른 클래스의 노드 간에 오직 클래스에 의존하지 않는 지식만 선택적으로 전달하는 정보 버블 기반 메시지 전파 메커니즘을 도입한다.
• 지속적 학습을 위해 중요하고 다양한 삼중하위그래프를 식별하기 위한 가치 함수를 설계한다.
• 효율적인 삼중하위그래프 선택을 위한 탐욕적 근사 알고리즘을 개발하였으며, 이는 이론적 하한 보장을 갖는다.
• 선택된 삼중하위그래프를 경험 복습 형태로 학습 과정에 통합하여 이전 클래스의 기억 상실을 방지한다.
• 모든 역사를 재학습하지 않고도 새로운 클래스 도착 시 모델을 점진적으로 업데이트하는 클래스 증분 학습 전략을 활용한다.

실험 결과

연구 질문

• RQ1 어떻게 개방형 시간적 그래프에서 서로 다른 클래스의 노드 간에 갈등적인 특징 집합을 피할 수 있는 메시지 전파 메커니즘을 설계할 수 있는가?
• RQ2 지속적 학습을 위해 구조적 다양성과 중요성을 모두 유지하는 대표적인 삼중하위그래프를 효과적으로 식별할 수 있는 기준은 무엇인가?
• RQ3 분리된 표현 학습과 선택적 삼중하위그래프 복습의 조합이 시간적 그래프 학습에서 치명적 기억 상실을 상당히 감소시킬 수 있는가?
• RQ4 실제 시간적 그래프 데이터셋에서 기존의 증분 학습 기준들과 비교해 볼 때, 제안된 방법은 정확도와 기억 상실률 측면에서 어떻게 성능을 내는가?
• RQ5 제안된 삼중하위그래프 선택 알고리즘의 계산 효율성은 어떠한가? 그래프 크기가 증가함에 따라 어떻게 스케일링되는가?

주요 결과

• OTGNet은 모든 세 가지 데이터셋에서 가장 높은 평균 정밀도(AP)를 달성하였다: Reddit에서 73.88, Yelp에서 83.78, Taobao에서 79.92이며, 모든 기준들보다 뛰어난 성능을 보였다.
• Reddit 데이터셋에서 OTGNet은 최종 작업에서 95.97 AP를 기록하여 두 번째로 우수한 성능을 보인 TGN+BiC(80.15 AP)를 크게 앞섰다.
• OTGNet은 Taobao에서 평균 기억 상실(AF)을 12.82로 줄였고, Yelp에서는 4.98로 유지하여 다양한 작업 간 높은 안정성을 보였다.
• t-SNE 시각화 결과, 새로운 클래스가 도입된 후에도 OTGNet은 OTGNet-w.o.-IB보다 더 분류에 유리한 노드 임베딩을 학습하는 것으로 나타났다.
• OTGNet의 실행 시간은 Reddit에서 6.78시간으로, 증분 기준들(5.05–6.23시간)과 유사했으며, 재학습 방법들(10–35시간)보다는 크게 낮았다.
• 제안된 삼중하위그래프 선택 알고리즘은 이론적 근사 비율 하한을 확보하여, 선택된 하위그래프에서 다양성과 중요성의 균형을 확보한다.