[논문 리뷰] Learning from the Past: Continual Meta-Learning via Bayesian Graph Modeling

Yadan Luo, Zi Huang외 4명|arXiv (Cornell University)|2019. 11. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 8

한 줄 요약

이 논문은 소수의 샘플에서의 학습에서 치명적인 잊음과 위상적 불확실성을 완화하기 위해 베이지안 그래프 신경망을 사용하는 연속적 메타학습 프레임워크인 CML-BGNN을 제안한다. 메모리 증강 그래프 네트워크를 통해 태스크 간 상관관계를 모델링하고, Bayes-by-Backprop를 적용하여 강인한 엣지 추론을 수행함으로써, mini-ImageNet 5-way 1-shot에서 88.62%의 정확도를 달성하였으며, 이는 기존 최고 성능(SOTA) 대비 42.8% 향상된 성과이다.

ABSTRACT

Meta-learning for few-shot learning allows a machine to leverage previously acquired knowledge as a prior, thus improving the performance on novel tasks with only small amounts of data. However, most mainstream models suffer from catastrophic forgetting and insufficient robustness issues, thereby failing to fully retain or exploit long-term knowledge while being prone to cause severe error accumulation. In this paper, we propose a novel Continual Meta-Learning approach with Bayesian Graph Neural Networks (CML-BGNN) that mathematically formulates meta-learning as continual learning of a sequence of tasks. With each task forming as a graph, the intra- and inter-task correlations can be well preserved via message-passing and history transition. To remedy topological uncertainty from graph initialization, we utilize Bayes by Backprop strategy that approximates the posterior distribution of task-specific parameters with amortized inference networks, which are seamlessly integrated into the end-to-end edge learning. Extensive experiments conducted on the miniImageNet and tieredImageNet datasets demonstrate the effectiveness and efficiency of the proposed method, improving the performance by 42.8% compared with state-of-the-art on the miniImageNet 5-way 1-shot classification task.

연구 동기 및 목표

• 소수의 샘플 분류를 위한 메타학습에서 치명적인 잊음과 부족한 강인성 문제를 해결하기 위해.
• 그래프 구조적 표현을 사용하여 장기적인 태스크 간 상관관계와 단기적인 태스크 내 상관관계를 모델링하기 위해.
• 메시지 전파 중 그래프 위상의 불확실성을 베이지안 파rameter 추론을 통해 다루기 위해.
• 히스토리 집계를 위한 게이트드 순환 단위를 사용하여 순차적 태스크 간 효율적이고 연속적인 지식 전이를 가능하게 하기 위해.
• 태스크별 파라미터의 약화된 사후 분포 근사를 통해 저자료 환경에서의 일반화 능력과 강인성을 향상시키기 위해.

제안 방법

• 모델은 각 에피소드를 그래프로 표현하며, 노드는 지원 및 쿼리 샘플로 구성되고, 엣지는 학습된 유사도 커널에 의해 정의된다.
• 메모리 증강 그래프 신경망은 게이트드 순환 단위를 사용하여 태스크 간 역사적 노드 표현을 집계하고 전파한다.
• Bayes-by-Backprop는 태스크별 분류 가중치의 사후 분포를 평균 및 분산 파ram터를 사용해 근사하기 위해 적용된다.
• 압축 추론 네트워크를 종단 간 통합하여 엣지 학습 중 동적이고 불확실성 인식 파라미터 업데이트를 가능하게 한다.
• 그래프 구조는 시간이 지남에 따라 변화하며, 순차적 메시지 전파를 통해 태스크 내 인접성과 태스크 간 의존성을 유지한다.
• 프레임워크는 완전히 레이블링된 설정과 반감지 설정 모두를 지원하여 노이즈가 있거나 완전하지 않은 지도 신호에 대한 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 그래프 기반 메타학습 모델은 연속적인 소수의 샘플 태스크 시퀀스에서 지식을 효과적으로 유지할 수 있는가?
• RQ2 메시지 전파 중 오류 누적을 방지하기 위해 엣지 초기화 시 위상적 불확실성을 어떻게 완화할 수 있는가?
• RQ3 순환 히스토리 모델링을 통합할 경우 소수의 샘플 학습에서 일반화 능력이 얼마나 향상되는가?
• RQ4 베이지안 파라미터 추론은 저자료 및 노이즈가 있는 환경에서 강인성을 향상시키는가?
• RQ5 부분 레이블링이 적용된 반감지 소수의 샘플 학습 환경에서 모델의 성능은 어떠한가?

주요 결과

• CML-BGNN은 5-way 1-shot mini-ImageNet 벤치마크에서 88.62%의 정확도를 달성하였으며, 기존 최고 성능 방법 대비 42.8% 상대적 향상률을 기록하였다.
• 5-way 1-shot 분류에서 CML-BGNN은 EGNN보다 30.0%, GNN보다 39.3% 높은 성능을 기록하여 뛰어난 지식 유지 능력을 입증하였다.
• 20%의 레이블링된 지원 데이터를 가진 반감지 5-way 5-shot 학습에서 CML-BGNN은 88.95%의 정확도를 달성하였으며, EGNN(63.62%)와 GNN(52.45%)를 크게 앞서는 성능을 보였다.
• 제거 실험 결과, 태스크별 파라미터 추론을 제거할 경우 5-way 5-shot에서 정확도가 92.69%에서 91.21%로 감소하여, 이 요소의 필수성을 입증하였다.
• 그래프 깊이를 1에서 3층으로 증가시킬 경우, GNN의 1-shot 정확도는 3.4% 향상되었고, EGNN는 6.4%, CML-BGNN는 4.3% 향상되어 표현 능력 향상을 입증하였다.
• 히스토리 전이 모듈에서 16개의 은닉 상태를 사용하는 모델은 상태 수가 적은 변형보다 일관되게 뛰어난 성능을 보여, 더 rich한 메모리 표현의 이점을 확인하였다.