[논문 리뷰] Sparse Distributed Memory is a Continual Learner

Trenton Bricken, Xander Davies외 3명|arXiv (Cornell University)|2023. 03. 20.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 메모리 재생이나 작업 경계 없이 CIFAR-10에서 최고 성능을 기록하는 연속 학습 성능를 달성한, 희박 분산 기억(SDM)에 영감을 받은 수정된 다층 퍼셉트론(SDMLP)을 제안한다. Top-K 활성화, L² 정규화, 비음수 가중치, 편향 없는 학습을 통합함으로써 모델은 치명적인 잊음을 방지하는 유기적인 다양체 타일링과 민주적인 뉴런 참여를 통해 특화된 희박한 하위망을 형성한다.

ABSTRACT

Continual learning is a problem for artificial neural networks that their biological counterparts are adept at solving. Building on work using Sparse Distributed Memory (SDM) to connect a core neural circuit with the powerful Transformer model, we create a modified Multi-Layered Perceptron (MLP) that is a strong continual learner. We find that every component of our MLP variant translated from biology is necessary for continual learning. Our solution is also free from any memory replay or task information, and introduces novel methods to train sparse networks that may be broadly applicable.

연구 동기 및 목표

• 메모리 재생이나 작업 정보에 의존하지 않고 생물학적 신경망을 모방하는 연속 학습 모델을 개발하기 위해.
• 희박 분산 기억(SDM)의 핵심 구성 요소가 표준 MLP 아키텍처에서 강력한 연속 학습을 가능하게 할 수 있는지 조사하기 위해.
• 희박한 연속 학습 모델에서 발생하는 사망 뉴런과 최적화기 정체성 등의 구조적 과제를 규명하고 해결하기 위해.
• SDM에서 유도된 아키텍처 제약의 조합이 잠재적인 다양체 타일링과 하위망 특화를 어떻게 유도하는지 보여주기 위해.
• 기존 방법보다 뛰어난 성능을 보이며 생물학적으로 영감을 받은 메모리 효율적인 연속 학습 프레임워크를 구축하기 위해.

제안 방법

• 입력당 가장 자극된 k개의 뉴런만 활성화하도록 Top-K(k-승자-모두의) 활성화 함수를 도입하여 하위망 특화를 촉진하기 위해.
• 가중치와 입력 데이터 양쪽에 L² 정규화와 비음수성을 강제하여 뉴런이 데이터 다양체에 제약을 받도록 하여 학습에 대한 민주적 참여를 가능하게 하기 위해.
• 대칭성을 유지하고 모든 뉴런이 표현 학습에 동일하게 기여하도록 편향 항목을 제거하기 위해.
• GABA 스위치 유사 초기화 전략을 구현하여 일시적으로 억제 효과를 뒤집어 초기 학습 단계에서 뉴런 사망을 방지하기 위해.
• 희박한 네트워크에서 최적화기 정체성을 해결하기 위해 학습 동역학을 수정하여 오래된 운동량이 비활성 뉴런을 업데이트하는 것을 방지하기 위해.
• 작업 레이블이나 메모리 재생 없이도 연속 학습 성능를 향상시키기 위해 SDMLP를 탄성 가중치 통합(EWC)과 결합하기 위해.

Figure 1: Graphical Summary of the SDM Write and Read Operations. Top Row - Three patterns being written into nearby neurons. 1. First write operation; 2. Patterns are stored inside neurons and the original pattern address is shown; 3. Writing a second pattern; 4. Writing a third pattern and neurons

실험 결과

연구 질문

• RQ1 희박 분산 기억(SDM)에 기반한 수정된 MLP가 메모리 재생이나 작업 경계 없이 강력한 연속 학습 성능를 달성할 수 있는가?
• RQ2 SDM 아키텍처의 어떤 구성 요소가 연속 학습 환경에서 치명적인 잊음을 방지하는 데 필수적인가?
• RQ3 Top-K 활성화와 L² 정규화는 SDMLP에서 다양체 타일링과 하위망 특화를 어떻게 공동으로 가능하게 하는가?
• RQ4 희박한 연속 학습 모델에서 발생하는 구조적 과제—예를 들어 사망 뉴런과 최적화기 정체성—는 무엇이며, 이를 생물학적으로 영감을 받아 어떻게 해결할 수 있는가?
• RQ5 CIFAR-10에서 클래스 증분 연속 학습 설정에서 SDMLP의 성능는 기존 방법보다 어느 정도 뛰어나게 되는가?

주요 결과

• 메모리 재생이 허용되지 않는 조건에서 SDMLP는 클래스 증분 연속 학습 설정에서 CIFAR-10에서 최고 성능을 기록하며, 동일한 제약 조건 하에서 기존 방법보다 뛰어난 성능를 보였다.
• SDM에서 유도된 모든 아키텍처 구성 요소—Top-K 활성화, L² 정규화, 비음수 가중치, 편향 없음—이 치명적인 잊음을 방지하기 위해 필수적이며, 어느 하나라도 제거하면 성능가 급격히 저하된다.
• 모델은 데이터 다양체를 타일링하는 특화된 하위망을 형성하며, 개별 뉴런은 특정 이미지 클래스나 심지어 특정 예시에 반응하도록 학습되며, '할머니 뉴런' 행동과 유사하다.
• 뉴런 활성화 패턴을 분석한 결과, SDMLP는 각 작업당 소수의 동적 활성 뉴런만 활성화하지만, 기존 ReLU 기반 모델은 거의 모든 뉴런을 활성화하여 기억 상실 위험이 증가한다.
• UMAP 시각화 결과, 뉴런 가중치와 데이터 포인트가 다양체 상에서 공간적으로 정렬되어 있으며, 뉴런들이 특정 클래스와 그 가장 자극적인 예시 주변에 군집되어 있음을 확인했다.
• GABA 스위치 유사 초기화 전략은 Top-K 활성화로 인한 뉴런 사망을 효과적으로 방지했으며, 수정된 최적화기 학습 전략은 희박한 네트워크에서의 정체성을 해결하여 둘 다 지속적인 성능 향상에 핵심적인 역할을 했다.