[논문 리뷰] FearNet: Brain-Inspired Model for Incremental Learning

Ronald Kemker, Christopher Kanan|arXiv (Cornell University)|2017. 11. 28.

Memory and Neural Mechanisms참고 문헌 16인용 수 271

한 줄 요약

FearNet은 최근 기억용 HC와 장기 저장용 mPFC를 갖춘 이중 기억 모듈과 기억 소스 선택을 위한 BLA 모듈, 그리고 기억 통합을 위한 의사재연을 포함한 뇌 영감의 점진 학습 모델입니다. 작은 메모리 발자국으로 CIFAR-100, CUB-200, AudioSet에서 최첨단 성과를 달성합니다.

ABSTRACT

Incremental class learning involves sequentially learning classes in bursts of examples from the same class. This violates the assumptions that underlie methods for training standard deep neural networks, and will cause them to suffer from catastrophic forgetting. Arguably, the best method for incremental class learning is iCaRL, but it requires storing training examples for each class, making it challenging to scale. Here, we propose FearNet for incremental class learning. FearNet is a generative model that does not store previous examples, making it memory efficient. FearNet uses a brain-inspired dual-memory system in which new memories are consolidated from a network for recent memories inspired by the mammalian hippocampal complex to a network for long-term storage inspired by medial prefrontal cortex. Memory consolidation is inspired by mechanisms that occur during sleep. FearNet also uses a module inspired by the basolateral amygdala for determining which memory system to use for recall. FearNet achieves state-of-the-art performance at incremental class learning on image (CIFAR-100, CUB-200) and audio classification (AudioSet) benchmarks.

연구 동기 및 목표

• 점진적 클래스 학습의 필요성을 자극하고 과거 데이터를 모두 저장하지 않고도 악화하는 망실을 해결한다.
• 해마를 모방한 최근 기억과 내측전전두피질을 모방한 장기 기억 시스템을 갖춘 FearNet를 제안한다.
• 추억 재현을 위한 선택기를 도입하여 기억 검색의 소스를 결정한다.
• 과거 데이터를 저장하지 않고도 최근 기억을 장기 저장으로 통합하기 위해 생성 오토인코더를 통한 의사재연을 사용한다.
• 영상 및 오디오 벤치마크에서 확장성과 메모리 효율성을 입증한다.]
• method:[

제안 방법

• 세 가지 신경 모듈: 최근 기억을 위한 HC, 재구성적 오토인코더를 통한 장기 저장을 위한 mPFC, 회상을 위한 소스 선택을 결정하는 BLA.
• 과거 데이터를 저장하지 않고도 클래스 통계(평균과 공분산)로부터 의사 예시를 생성하는 생성 오토인코더를 통한 의사재연으로 기억을 통합한다.
• HC는 클래스당 예시를 저장하고, 통합 후 예시를 mPFC로 이동시키고 HC는 비운다.
• mPFC는 감독 분류와 재구성의 손실을 결합한 손실(L_class + L_recon)로 학습한다.
• BLA는 HC 또는 mPFC에서 회상할지에 대한 확률 A(x)를 출력하며, 최종 예측은 후처리에서 HC와 mPFC의 후확률을 휴리스틱으로 혼합한다.

실험 결과

연구 질문

• RQ1 FearNet이 과거 학습 데이터를 저장하지 않고도 우수한 증가 학습 성능을 달성할 수 있는가?
• RQ2 의사재연을 포함한 뇌 영감 이중 기억 아키텍처가 대규모 벤치마크에서 기존 방법과 어떻게 비교되는가?
• RQ3 기본 지식 유지 및 새로운 클래스 회상에 미치는 수면 같은 기억 통합 시기의 역할은 무엇인가?
• RQ4 메모리 발자국과 모달리티(이미지, 오디오)가 증가 학습 성능에 어떤 영향을 미치는가?
• RQ5 메모리 선택자(BLA)가 적절한 기억 시스템으로의 회상을 효과적으로 라우팅할 수 있는가?

주요 결과

모델	CIFAR-100 Omega_base	CIFAR-100 Omega_new	CIFAR-100 Omega_all	CUB-200 Omega_base	CUB-200 Omega_new	CUB-200 Omega_all	AudioSet Omega_base	AudioSet Omega_new	AudioSet Omega_all
1-Nearest Neighbor	0.878	0.648	0.879	0.746	0.434	0.694	0.655	0.269	0.613
GeppNet+STM	0.866	0.408	0.800	0.764	0.204	0.645	0.941	0.372	0.861
GeppNet	0.833	0.529	0.754	0.727	0.558	0.645	0.932	0.499	0.879
FEL	0.707	0.999	0.619	0.702	0.976	0.641	0.491	1.000	0.456
iCaRL	0.746	0.807	0.749	0.942	0.547	0.864	0.740	0.487	0.733
FearNet	0.927	0.824	0.947	0.924	0.598	0.891	0.962	0.455	0.932

• FearNet은 CIFAR-100, CUB-200, AudioSet 전반에서 Omega_base, Omega_new, Omega_all의 최첨단 성능을 달성한다.
• FearNet의 성능은 특히 기본 지식 및 전반적인 보유에 대해 오프라인 MLP 기준과 밀접하게 추적한다.
• mPFC 재구성을 통한 의사재연은 HC로부터 장기 저장으로의 기억 통합을 가능하게 하며 과거 데이터를 저장하지 않는다.
• BLA 기반의 메모리 선택은 HC 대 mPFC 중 회상에 사용할 기억 시스템을 효과적으로 구분하며 많은 경우 거의 최적에 근접한 성능을 보인다.
• FearNet은 원시 데이터를 저장하는 대신 클래스 통계(평균 및 공분산)를 저장함으로써 비교적 작은 메모리 발자국을 유지한다.
• FearNet은 다중 모달 증가 학습에서도 강건하며 100–200 클래스 규모로의 확장성도 보인다.