[논문 리뷰] Continual Learning with Self-Organizing Maps

Pouya Bashivan, Martin Schrimpf외 4명|arXiv (Cornell University)|2019. 04. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 10인용 수 4

한 줄 요약

이 논문은 자기조직화 지도(SOM)를 사용하여 입력을 작업별로 특화된 네트워크 영역으로 동적으로 라우팅함으로써 명시적인 작업 경계나 메모리 버퍼가 필요 없는 메모리 없는 지속적 학습 방법인 SOMLP를 제안한다. 입력을 비지도로 작업 맥락으로 군집화하고 이를 바탕으로 네트워크 활성화를 마스킹함으로써, SOMLP는 MNIST 순열 및 회전 설정에서 GEM 및 EWC와 같은 최첨단 방법과 비슷한 성능을 달성하며, 특히 낮은 메모리 환경에서 뛰어난 성능을 발휘한다.

ABSTRACT

Despite remarkable successes achieved by modern neural networks in a wide range of applications, these networks perform best in domain-specific stationary environments where they are trained only once on large-scale controlled data repositories. When exposed to non-stationary learning environments, current neural networks tend to forget what they had previously learned, a phenomena known as catastrophic forgetting. Most previous approaches to this problem rely on memory replay buffers which store samples from previously learned tasks, and use them to regularize the learning on new ones. This approach suffers from the important disadvantage of not scaling well to real-life problems in which the memory requirements become enormous. We propose a memoryless method that combines standard supervised neural networks with self-organizing maps to solve the continual learning problem. The role of the self-organizing map is to adaptively cluster the inputs into appropriate task contexts - without explicit labels - and allocate network resources accordingly. Thus, it selectively routes the inputs in accord with previous experience, ensuring that past learning is maintained and does not interfere with current learning. Out method is intuitive, memoryless, and performs on par with current state-of-the-art approaches on standard benchmarks.

연구 동기 및 목표

• 메모리 버퍼나 명시적인 작업 경계에 의존하지 않고 지속적 학습에서 치명적인 잊음 문제를 해결한다.
• 기존의 경험 재생 및 정규화 기반 지속적 학습 방법의 대안으로서 확장 가능하고 메모리 효율적인 방법을 개발한다.
• 신경망이 이전 작업의 지식을 유지하면서 새로운 작업에 자원을 적응적으로 할당할 수 있도록 한다.
• SOM을 통한 비지도 표현 학습을 활용하여 입력 데이터 분포에서 작업 구조를 추론한다.
• 자기조직화 지도가 지속적 학습에서 동적 자원 할당을 위한 효과적이고 레이블이 없는 메커니즘으로 기능할 수 있음을 입증한다.

제안 방법

• 완전히 연결된 피드포워드 네트워크와 병렬로 자기조직화 지도(SOM) 레이어를 통합하여, 감독 없이 입력 분포의 구조를 학습한다.
• 경쟁 학습을 사용해 SOM을 훈련한다: 각 입력 배치에 대해 최적 매칭 유닛(BMU)을 식별하고, 감쇠하는 학습률 α와 이웃 영역 반경 σ를 사용해 BMU 및 그 이웃을 갱신한다.
• 입력과 SOM 가중치 간의 L2 거리에 초깃값 ε을 스케일링하여 작업별 출력 마스크 Γ를 계산한다. 이를 통해 완전히 연결된 레이어의 활성화를 게이트한다.
• 마스크 Γ를 사용해 현재 입력의 작업 맥락과 관련된 네트워크 노드만 선택적으로 활성화함으로써 이전에 학습한 작업 간 간섭을 방지한다.
• SOMLP_m의 경우 모든 작업의 레이블이 없는 데이터로, SOMLP_s의 경우 전체 MNIST 훈련 세트로 사전 훈련하여 초기화 및 일반화 성능을 향상시킨다.
• 학습률 α와 이웃 반경 σ를 시간이 지남에 따라 지수 감쇠률 τ를 사용해 감쇠시켜 학습 안정성과 과적합 방지를 도모한다.

실험 결과

연구 질문

• RQ1 자기조직화 지도를 사용해 명시적인 작업 레이블 없이 지속적 학습에서 작업 경계를 암묵적으로 추론할 수 있는가?
• RQ2 SOM을 통한 비지도 군집화를 활용한 기억 없는 접근 방식이 낮은 메모리 환경에서 EWC 및 GEM과 같은 기억 기반 방법보다 우수한 성능을 내는가?
• RQ3 경험 재생이나 피셔 정보를 사용하지 않을 경우, SOMLP가 순차적 작업 간 성능 유지 능력이 얼마나 우수한가?
• RQ4 SOMLP가 학습한 마스크가 작업 간 유사성 구조(예: 순열 대비 회전)를 얼마나 잘 반영하는가?
• RQ5 SOM을 통한 비지도 특징 학습이 지속적 학습 중 신경망에서 효과적인 동적 자원 할당을 가능하게 하는가?

주요 결과

• SOMLP_m(모든 작업의 10% 데이터로 사전 훈련)은 MNIST 순열에서 85.4% ± 1.8의 정확도, MNIST 회전에서 79.1% ± 0.8의 정확도를 기록했으며, EWC를 초월하고 일부 설정에선 GEM과 동등한 성능을 보였다.
• 낮은 메모리 환경(예: 8개의 메모리 슬롯)에서 SOMLP_m은 EWC 및 GEM을 포함한 모든 기준 방법을 뛰어넘어 뛰어난 확장성을 입증했다.
• SOMLP_s(전체 MNIST로 사전 훈련)는 SOMLP_m보다 성능이 열등했지만, MNIST 회전에서는 EWC(49.8%)를 상회하는 59.1%의 정확도를 기록했고, MNIST 순열에서는 EWC와 동등한 성능을 보였다.
• GEM의 성능는 메모리 크기가 감소함에 따라著격히 악화되었고, EWC의 성능는 데이터셋 간으로 일관성 없이 나타나 메모리 버퍼 크기에 민감한 것으로 나타났다.
• MNIST 회전 설정에서 학습된 SOM 마스크는 비슷한 작업(예: 작은 회전 차이) 간에 노드를 공유하는가 하면, 상이한 작업에는 별도의 노드를 사용함으로써 효과적인 작업 군집화를 보였다.
• GEM과 SOMLP_m의 경우 순차적 작업 간 평균 성능가 안정적이었지만, EWC와 SOMLP_s는 성능 저하를 보이며 낮은 용량 또는 불안정한 조건에서의 잊음 현상을 보였다.