[논문 리뷰] Lifelong Graph Learning

Chen Wang, Yuheng Qiu외 2명|arXiv (Cornell University)|2020. 09. 01.

Advanced Graph Neural Networks참고 문헌 65인용 수 9

한 줄 요약

이 논문은 스트리밍 그래프에서의 노드 분류를 그래프 분류로 변환함으로써 지속적인 학습 기법을 GNN에 적용할 수 있도록 하는 새로운 그래프 구조인 기능 그래프 네트워크(FGN)를 제안한다. 노드 특징을 새로운 그래프의 노드로 간주함으로써, CNN에서 유래한 지속적 학습 기법을 GNN에 적용할 수 있게 되며, FGN은 지속적 학습 벤치마크 및 인간 동작 인식, 이미지 특징 매칭과 같은 응용 분야에서 뛰어난 성능을 기록한다. TartanAir 데이터셋에서 GAT 대비 24.2%의 오차 감소를 달성한다.

ABSTRACT

Graph neural networks (GNN) are powerful models for many graph-structured tasks. Existing models often assume that the complete structure of the graph is available during training. In practice, however, graph-structured data is usually formed in a streaming fashion so that learning a graph continuously is often necessary. In this paper, we bridge GNN and lifelong learning by converting a continual graph learning problem to a regular graph learning problem so GNN can inherit the lifelong learning techniques developed for convolutional neural networks (CNN). We propose a new topology, the feature graph, which takes features as new nodes and turns nodes into independent graphs. This successfully converts the original problem of node classification to graph classification. In the experiments, we demonstrate the efficiency and effectiveness of feature graph networks (FGN) by continuously learning a sequence of classical graph datasets. We also show that FGN achieves superior performance in two applications, i.e., lifelong human action recognition with wearable devices and feature matching. To the best of our knowledge, FGN is the first method to bridge graph learning and lifelong learning via a novel graph topology. Source code is available at https://github.com/wang-chen/LGL

연구 동기 및 목표

• 시간이 지남에 따라 그래프가 점진적으로 증가하는 스트리밍 데이터 환경에서 지속적 그래프 학습의 과제를 해결하기 위해.
• 새로운 데이터가 도입될 때 이전 지식이 손실되는 치명적인 망각(catastrophic forgetting) 문제를 해결하기 위해 GNN에서 지속적 학습을 수행할 수 있도록 하기 위해.
• 학습 문제의 구조적 재정의를 통해 기존에 잘 알려진 CNN 기반 지속적 학습 기법을 GNN에 효과적으로 적용할 수 있도록 하기 위해.
• 행동 인식 및 특징 매칭과 같은 작업에서 중요한 특징 간 상호작용을 노드와 시간 단계 간에 명시적으로 모델링하기 위해.
• 증가하는 그래프 크기와 학습 과제에 비례하여 효율적으로 확장되는 일정한 계산 복잡도를 유지하는 방법을 개발하기 위해.

제안 방법

• 노드 특징을 노드로, 원래의 노드를 개별 그래프로 간주하는 새로운 그래프 구조인 기능 그래프를 제안하여, 노드 분류 문제를 그래프 분류 문제로 변환한다.
• 노드의 특징과 이웃 노드의 특징 간 상관관계를 이용해 기능 인접 행렬을 구성함으로써 기능 간 상호작용을 모델링한다.
• 기능 그래프에 그래프 신경망을 적용하여 그래프 수준의 예측을 수행함으로써 미니배치 학습과 지속적 학습 방법의 호환성을 확보한다.
• 기본적인 지속적 학습 기법인 지식 정착, EWC, MAS를 FGN 프레임워크에 적용하여 지속적 학습을 수행한다.
• 기존 프레임워크인 SuperGlue에 FGN을 통합하여 이미지 특징 매칭에 활용하기 위해 GAT 기반 매처를 FGN 아키텍처로 대체한다.
• 이중층 기능 브로드캐스트 메커니즘과 주목적 기반 엣지 가중치를 사용하여 기능 그래프의 엣지 특징을 정의한다.

실험 결과

연구 질문

• RQ1 시간이 지남에 따라 그래프 구조가 증가하는 스트리밍 그래프 환경에서 GNN이 지속적 학습에 적합하게 개선될 수 있는가?
• RQ2 지속적 그래프 학습 프레임워크에서 노드 간 및 시간 단계 간의 특징 상호작용을 명시적으로 모델링할 수 있는가?
• RQ3 CNN에서 개발된 지속적 학습 기법이 그래프 학습 문제의 구조적 재정의를 통해 GNN에 효과적으로 이식될 수 있는가?
• RQ4 증가하는 그래프 크기와 학습 과제에 비례하여도 제안된 기능 그래프 구조가 일정한 계산 복잡도를 유지하는가?
• RQ5 FGN은 인간 동작 인식 및 특징 매칭과 같은 실제 응용 분야에서 기존 GNN보다 우수한 성능을 보일 수 있는가?

주요 결과

• TartanAir 데이터셋에서 FGN은 GAT 대비 평균 매칭 오차를 24.2% 감소시켰으며, Outdoors 및 Hard와 같은 도전적인 카테고리에서 가장 큰 향상을 보였다.
• 특징 매칭에서 FGN은 특히 더 높은 오차 허용 범위 하에서 서브픽셀 정밀도가 크게 향상되어 고품질 매칭을 더 잘 식별함을 보였다.
• 지속적 학습 평가에서 FGN은 모든 클래스에서 가장 낮은 망각률을 보였으며, 최고 성능와 최종 성능 간 감소 폭이 가장 작았다.
• 증가하는 그래프 크기와 학습 과제에 비록 그래프 크기가 증가하더라도 계산 복잡도가 일정하게 유지되어 효율적인 지속적 학습이 가능했다.
• 인간 동작 인식에서 FGN은 데이터 증가 및 클래스 증가 설정 모두에서 베이스라인 모델을 능가했으며, 개념 이동에 대한 강건성을 보였다.
• 기능 그래프 구조는 노드 분류를 그래프 분류로 성공적으로 변환하여, 처음으로 CNN 기반 지속적 학습 기법을 GNN에 적용할 수 있도록 하였다.