[논문 리뷰] A Growing Long-term Episodic & Semantic Memory

Chris Tar, Marc Pickett외 2명|arXiv (Cornell University)|2016. 10. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 24인용 수 6

한 줄 요약

이 논문은 고정된 네트워크 가중치를 초월해 장기 기억을 확장하는 라이프러닝 학습 시스템을 제안한다. 이 시스템은 다양한 도메인에 걸쳐 무한한 경험적 지식과 의미적 지식을 저장하기 위해 빠르고 미분 불가능한 콘텐츠 기반 주소 지정 메모리를 통합한다. 네트워크 가중치에서 메모리 저장을 분리함으로써, 시스템은 지속적인 학습, 전이 학습, 그리고 시간이 지남에 따라 이전 지식을 재사용할 수 있다.

ABSTRACT

The long-term memory of most connectionist systems lies entirely in the weights of the system. Since the number of weights is typically fixed, this bounds the total amount of knowledge that can be learned and stored. Though this is not normally a problem for a neural network designed for a specific task, such a bound is undesirable for a system that continually learns over an open range of domains. To address this, we describe a lifelong learning system that leverages a fast, though non-differentiable, content-addressable memory which can be exploited to encode both a long history of sequential episodic knowledge and semantic knowledge over many episodes for an unbounded number of domains. This opens the door for investigation into transfer learning, and leveraging prior knowledge that has been learned over a lifetime of experiences to new domains.

연구 동기 및 목표

• 고정된 네트워크 가중치에 의해 제한되는 연결주의 시스템의 고정된 용량을 극복하기 위해.
• 경험적 지식과 의미적 지식을 무한히 저장함으로써 다양한 도메인에 걸쳐 라이프러닝 학습을 가능하게 하기 위해.
• 오랜 기간의 경험에서 획득한 이전 지식을 활용하여 전이 학습을 지원하기 위해.
• 빠르고, 미분 불가능하고, 콘텐츠 기반 주소 지정이 가능한 메모리 시스템을 설계하여 효율적인 검색을 가능하게 하기 위해.
• 지속적인 학습 환경에서 이전 지식이 새로운 도메인으로 어떻게 재사용되고 전이될 수 있는지 탐색하기 위해.

제안 방법

• 시스템은 신경망 가중치와 별도로 경험적 지식과 의미적 지식을 저장하기 위해 콘텐츠 기반 주소 지정 메모리 모듈을 사용한다.
• 경험적 지식은 순차적인 경험 트레이스로 인코딩되며, 의미적 지식은 여러 경험 간의 패턴에서 유도된다.
• 메모리는 콘텐츠 기반 주소 지정을 통해 접근되며, 역전파 없이도 빠른 검색이 가능하다.
• 지식은 기울기 업데이트가 필요 없이 저장되고 검색되므로, 치명적인 잊음 없이 지속적인 학습이 가능하다.
• 아키텍처는 메모리 저장과 학습을 분리함으로써 저장된 지식의 무한한 증가를 가능하게 한다.
• 새로운 맥락에서 이전에 저장된 의미적 지식을 검색하고 재사용함으로써 시스템은 전이 학습을 지원한다.

실험 결과

연구 질문

• RQ1 다양한 도메인에 걸쳐 라이프러닝 학습 시스템이 경험적 지식과 의미적 지식을 무한히 저장할 수 있는 방법은 무엇인가?
• RQ2 미분 불가능하고 콘텐츠 기반 주소 지정이 가능한 메모리는 치명적인 잊음을 방지하면서도 지속적인 학습을 효과적으로 지원할 수 있는가?
• RQ3 라이프러닝 설정에서 과거 경험에서 획득한 이전 지식이 새로운 도메인으로 얼마나 효과적으로 전이되고 재사용될 수 있는가?
• RQ4 메모리를 네트워크 가중치에서 분리함으로써 스케일링 가능하고 개방형 지식 획득이 어떻게 가능해지는가?
• RQ5 이질적인 경험 간에 의미적 지식을 효율적으로 검색하고 재사용할 수 있는 메커니즘은 무엇인가?

주요 결과

• 지식 저장을 신경망 가중치에서 분리함으로써 시스템은 무한한 메모리 용량을 달성한다.
• 콘텐츠 기반 주소 지정 메모리는 경험적 지식과 의미적 지식의 빠르고, 미분 불가능한 검색을 가능하게 한다.
• 아키텍처는 치명적인 잊음 없이 다양한 도메인에 걸쳐 지속적인 학습을 지원한다.
• 이전에 획득한 의미적 지식은 효과적으로 검색되어 새로운 작업에 적용되며, 전이 학습을 가능하게 한다.
• 이질적인 경험을 위한 지속적이고 확장 가능한 기억을 갖춘 라이프러닝 학습의 실현 가능성을 시스템이 입증한다.
• 메모리와 학습의 분리로 인해 모듈형이며 확장 가능한 라이프러닝 지식 획득이 가능해진다.