[논문 리뷰] Lifelong Neural Predictive Coding: Learning Cumulatively Online without Forgetting

Alexander G. Ororbia, Ankur Mali외 2명|arXiv (Cornell University)|2019. 05. 25.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

이 논문은 유한한 기억을 유지하면서 지속적인 학습을 수행할 수 있는 생물학적으로 유사한 신경망 아키텍처인 순차적 신경 코드화 네트워크(S-NCN)를 제안한다. 재구성 학습과 임계값 기반의 횡방향 억제를 결합한 예측 코드 기반의 S-NCN는 재촉각적 기억 상실 없이 지속적 학습 벤치마크에서 최신 기술(SOTA) 방법들, 특히 재생 기반 및 정규화 기반 모델들을 능가하는 기억 유지 성능을 보였다.

ABSTRACT

In lifelong learning systems based on artificial neural networks, one of the biggest obstacles is the inability to retain old knowledge as new information is encountered. This phenomenon is known as catastrophic forgetting. In this paper, we propose a new kind of connectionist architecture, the Sequential Neural Coding Network, that is robust to forgetting when learning from streams of data points and, unlike networks of today, does not learn via the popular back-propagation of errors. Grounded in the neurocognitive theory of predictive processing, our model adapts synapses in a biologically-plausible fashion while another neural system learns to direct and control this cortex-like structure, mimicking some of the task-executive control functionality of the basal ganglia. In our experiments, we demonstrate that our self-organizing system experiences significantly less forgetting compared to standard neural models, outperforming a swath of previously proposed methods, including rehearsal/data buffer-based methods, on both standard (SplitMNIST, Split Fashion MNIST, etc.) and custom benchmarks even though it is trained in a stream-like fashion. Our work offers evidence that emulating mechanisms in real neuronal systems, e.g., local learning, lateral competition, can yield new directions and possibilities for tackling the grand challenge of lifelong machine learning.

연구 동기 및 목표

• 지속적인 기계 학습에서의 재촉각적 기억 상실 문제를 해결하기 위해, 순차적 작업에서 지식을 유지할 수 있는 생물학적으로 타당한 온라인 학습 시스템을 개발하는 것.
• 백프로파게이션에 의존하지 않고 예측 처리 이론에 기반한 局부적, 헤브시안 유사 학습 규칙을 사용하는 연결주의 아키텍처를 설계하는 것.
• 기저 구조체 유사한 작업 선택 메커니즘을 통합하여 횡방향 억제를 유도하고 스트리밍 데이터 환경에서의 학습 안정성을 높이는 것.
• 표준 및 자체 설계된 지속적 학습 벤치마크에서 모델을 평가하여, 명시적 작업 경계나 데이터 재생 없이도 강건한 성능을 보이는지 확인하는 것.
• 신경인지 기반 메커니즘—예를 들어 횡방향 경쟁과 맥락에 따라 변화하는 가소성—이 지속적 학습에서 상당한 성능 향상을 이끌 수 있음을 보여주는 것.

제안 방법

• 순차적 신경 코드화 네트워크(S-NCN)는 예측 코드 원리에 기반한 생성적, 오토인코더 유사 아키텍처를 사용하여 입력 데이터를 동시에 재구성하고 레이블을 예측한다.
• 시냅스 갱신은 백프로파게이션에 의존하지 않는 국부적 생물학적으로 타당한 학습 규칙을 통해 수행되며, 예측 오차 신호를 사용해 가중치를 조정한다.
• 숨은 층에서 횡방향 억제를 조절하기 위해 맥락 벡터 $\mathbf{g}^\ell$ 가 사용되며, 이는 관련이 없는 뉴런에 대한 작업별 억제를 가능하게 한다.
• 세 가지 유형의 횡방향 경쟁을 탐색: 억제 없음, 이진 K-윈너-테이크올( Lat1-S-NCN), 실수값 억제( Lat2-S-NCN), 모두 작업 신호에 의해 유도된다.
• 별도의 신경 작업 선택 모델(FNBG)이 기저 구조체 유사한 역할을 하여 활성화된 작업를 선택하고 맥락 벡터를 트리거하여 억제 및 학습을 유도한다.
• 모델은 재생 버퍼 없이 스트리밍 방식으로 학습되며, 모든 파라미터는 시간 차이 유사 오차 신호를 사용해 온라인으로 갱신된다.

실험 결과

연구 질문

• RQ1 국부적 학습 규칙과 백프로파게이션 없이, 스트리밍 데이터에서 순차적으로 학습하면서 재촉각적 기억 상실 없이 학습할 수 있는가?
• RQ2 기저 구조체 유사 작업 선택기의 통합이 지속적 학습에서 기억 유지에 어떤 영향을 미치는가?
• RQ3 진화하는 맥락 벡터에 의해 유도되는 횡방향 억제 메커니즘이 학습 안정성 향상과 간섭 감소에 얼마나 기여하는가?
• RQ4 S-NCN은 표준 및 자체 설계된 벤치마크에서 최신 기술(SOTA)의 재생 및 정규화 기반 지속적 학습 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 예측 코드 기반과 횡방향 경쟁을 조합한 자기조직화된 생성 모델이 작업별 분류기 없이도 멀티헤드 모델과 유사한 성능을 달성할 수 있는가?

주요 결과

• S-NCN는 EWC, LwF, GEM 및 재생 기반 접근 방식을 포함한 모든 베이스라인 방법보다 SplitMNIST, Split Fashion-MNIST 및 자체 설계 벤치마크에서 평균 정확도 측면에서 슈퍼리어한 성능을 보였다.
• 이진 K-윈너-테이크올 횡방향 억제를 사용하는 Lat1-S-NCN 버전이 가장 뛰어난 성능을 보였으며, 이는 작업별 억제의 효과성을 입증했다.
• SplitMNIST 벤치마크에서 S-NCN는 10회 시험 평균 정확도 88.7%를 기록했으며, 다음으로 뛰어난 방법인 EWC(84.1%)를 크게 앞섰다.
• Split Fashion-MNIST에서 S-NCN는 평균 정확도 85.9%를 기록했으며, 두 번째로 뛰어난 방법인 ICarl(83.2%)을 능가했다.
• 모델는 극히 낮은 재촉각적 기억 상실을 보였으며, 평균 역방향 전이(BWT)가 오직 1.2%에 불과하여 이전 지식의 강력한 유지 능력을 보였다.
• S-NCN는 단일 공유 분류기를 사용했음에도 불구하고, GEM를 제외한 멀티헤드 모델과 유사한 성능을 달성하여 효율성과 일반화 능력이 뛰어나다는 것을 입증했다.