[논문 리뷰] Automatic Recall Machines: Internal Replay, Continual Learning and the Brain

Xu Ji, João F. Henriques외 2명|arXiv (Cornell University)|2020. 06. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 53인용 수 6

한 줄 요약

이 논문은 외부 버퍼나 생성망 없이 모델의 내부 지식에서 실시간으로 리플레이 샘플을 생성하는 지속적 학습 방법인 Automatic Recall Machines(ARM)를 제안한다. 현재 배치에서 활성화 변화를 최대화하는 샘플을 최적화함으로써 ARM는 빠짐을 크게 줄이며, 다시 불러낸 샘플의 기울기들이 실제 데이터의 기울기들과 매우 유사하다—특히 깊은 네트워크 계층에서 그러하다.

ABSTRACT

Replay in neural networks involves training on sequential data with memorized samples, which counteracts forgetting of previous behavior caused by non-stationarity. We present a method where these auxiliary samples are generated on the fly, given only the model that is being trained for the assessed objective, without extraneous buffers or generator networks. Instead the implicit memory of learned samples within the assessed model itself is exploited. Furthermore, whereas existing work focuses on reinforcing the full seen data distribution, we show that optimizing for not forgetting calls for the generation of samples that are specialized to each real training batch, which is more efficient and scalable. We consider high-level parallels with the brain, notably the use of a single model for inference and recall, the dependency of recalled samples on the current environment batch, top-down modulation of activations and learning, abstract recall, and the dependency between the degree to which a task is learned and the degree to which it is recalled. These characteristics emerge naturally from the method without being controlled for.

연구 동기 및 목표

• 외부 메모리나 생성 컴포onent을 피하면서도 훈련된 모델 내부의 암묵적 기억을 활용해 지속적 학습에서의 치명적 기억 상실 문제를 해결한다.
• 외부 버퍼나 훈련된 생성망에 의존하는 경험 리플레이 방법의 한계를 극복하며, 자연 이미지에서 훈련하기 어려운 메모리 비효율적인 접근을 피한다.
• 전체 데이터 분포가 아닌 현재 훈련 배치 기반으로 태스크 특화의 고영향 샘플을 생성하는 확장성 있고 효율적인 리플레이 메커니즘을 개발한다.
• 지식 변화에 의해 촉발되고 환경적 맥락에 의해 조절되는 기억 회상 메커니즘을 설계하여 뇌의 역학을 모방하는 생물학적으로 타당한 학습 메커니즘을 확립한다.
• 다시 불러낸 샘플이 원래 클래스와 시각적으로 유사하지만, 실제로는 그 타겟 클래스의 실제 데이터와 기울기가 매우 높은 상관관계를 보이며, 이는 그 기능적 관련성의 타당성을 입증한다.

제안 방법

• 현재 배치에서 훈련할 때 오래된 모델 예측과 새로운 모델 예측 간 손실 차이에 대해 기울기 상승을 사용하여, 모델 출력의 변화를 최대화하는 입력 공간의 점을 최적화함으로써 리플레이 샘플을 생성한다.
• 모델 행동의 최대 이탈(즉, 출력 변화)을 유도하는 샘플을 회상 샘플로 정의함으로써, 기억 상실에 대한 최대 보호를 보장한다.
• 추가 메모리나 별도의 생성망이 필요 없이 모델 자체의 파라미터와 활성화를 사용하여 샘플을 생성함으로써, 메모리 효율적이며 엔드 투 엔드로 훈련 가능한 방법을 확보한다.
• 실제 배치에 조건을 두어 회상 샘플을 생성함으로써, 현재 작업에 특화되고 일반적인 리플레이보다 더 효과적인 샘플을 확보한다.
• 입력 공간 전체에서 모델 행동의 최대 이탈을 최소화하는 것으로 회상 목적을 수립함으로써, 이론적으로 모든 다른 이탈도 동시에 최소화됨을 보장한다.
• 실제 데이터와 함께 생성된 회상 샘플을 모두 훈련에 사용함으로써, 비정상적인 데이터 스트림 하에서 이전에 학습한 행동을 유지할 수 있는 능력을 강화한다.

실험 결과

연구 질문

• RQ1 외부 버퍼나 생성망 없이 모델의 자체 파라미터에서 내부적으로 리플레이 샘플을 생성할 수 있는가?
• RQ2 현재 배치에서 활성화 변화를 최대화하는 방식으로 생성된 샘플이 전체 데이터 분포를 리플레이하는 것보다 더 나은 빠짐 감소를 이끌 수 있는가?
• RQ3 깊은 네트워크 계층에서, 내부적으로 생성된 회상 샘플의 기울기는 실제 데이터의 기울기와 어떻게 비교되는가?
• RQ4 회상 샘플이 시각적 유사성보다 기능적(출력 기반) 유사성에 더 가까운가?
• RQ5 자동 회상 메커니즘이 상향식 조절, 놀라움 기반 리플레이, 추상적 회상과 같은 핵심 뇌 유사 역학을 자연스럽게 재현할 수 있는가?

주요 결과

• 현재 배치 기반 기울기 최적화를 통해 생성된 회상 샘플은 특히 깊은 계층(예: CIFAR10에서 하드 타겟 사용 시 FC 계층에서 0.726 상관관계)에서 타겟 클래스의 실제 데이터와 기울기 상관관계가 매우 높다.
• 회상 샘플이 원래 클래스(예: 클래스 1)와 시각적으로 유사해 보일지라도, 실제로는 타겟 클래스(예: 클래스 2)의 실제 샘플과 기울기가 더 잘 일치함을 보이며, 이는 기능적 유사성이 시각적 유사성보다 더 중요함을 시사한다.
• 외부 메모리나 훈련된 생성망이 필요 없이 표준 리플레이 베이스라인에 비해 뛰어난 빠짐 감소 성능을 달성한다.
• 회상 샘플의 기울기와 타겟 클래스의 실제 데이터 기울기 간 상관관계는 네트워크 깊이에 따라 증가하며, CIFAR10에서 하드 타겟 사용 시 최종 계층에서 최대 0.726에 도달한다.
• 명시적인 설계 없이도 최적화 과정에서 자연스럽게 뇌 유사 현상인 상향식 조절, 놀라움 기반 회상, 추상적 회상 등이 재현된다.
• MNIST, CIFAR10, MiniImageNet에서의 실험을 통해 ResNet과 다층퍼셉트론을 포함한 다양한 아키텍처에서 일관된 성능 향상이 확인되었다.