[논문 리뷰] Rethinking Continual Learning for Autonomous Agents and Robots

German I. Parisi, Christopher Kanan|arXiv (Cornell University)|2019. 07. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 23인용 수 8

한 줄 요약

이 논문은 자율 에이전트와 로봇을 위한 지속적 학습을 재고하며, 발달학적 학습, 커리큘럼 학습, 전이 학습, 내재적 동기를 통합하여 치명적 기억 상실을 극복하고 종신적, 확장 가능한 스킬 습득을 가능하게 한다. 에이전트가 구조적이고 점진적인 작업 스케줄링과 내재적 보상에 의해 점차 복잡해지는 스킬을 자율적으로 조직화함으로써, 실제 비정적 환경에서 학습 효율성과 일반화 능력이 크게 향상된다.

ABSTRACT

Continual learning refers to the ability of a biological or artificial system to seamlessly learn from continuous streams of information while preventing catastrophic forgetting, i.e., a condition in which new incoming information strongly interferes with previously learned representations. Since it is unrealistic to provide artificial agents with all the necessary prior knowledge to effectively operate in real-world conditions, they must exhibit a rich set of learning capabilities enabling them to interact in complex environments with the aim to process and make sense of continuous streams of (often uncertain) information. While the vast majority of continual learning models are designed to alleviate catastrophic forgetting on simplified classification tasks, here we focus on continual learning for autonomous agents and robots required to operate in much more challenging experimental settings. In particular, we discuss well-established biological learning factors such as developmental and curriculum learning, transfer learning, and intrinsic motivation and their computational counterparts for modeling the progressive acquisition of increasingly complex knowledge and skills in a continual fashion.

연구 동기 및 목표

• 치명적 기억 상실과 단순한 작업 스케줄링으로 인해 실제 동적 환경에 확장되지 못하는 현재의 지속적 학습 모델의 한계를 해결한다.
• 인간의 생물학적 학습과 인공 에이전트 간 격차를 해소하기 위해 기계 학습 시스템에 발달학적 및 커리큘럼 학습 원리를 통합한다.
• 학습 진전을 우선시하는 자율 생성 내재적 동기 기반 커리큘럼을 통해 자율 에이전트가 점진적으로 복잡한 스킬을 습득하도록 한다.
• 공유 표현을 재사용하고 이전에 학습한 작업과 새로운 작업 간 간섭을 최소화함으로써 전이 학습을 효과적으로 활용해 신규 작업에서의 성능을 향상시킨다.
• 다양한 생물학적 학습 메커니즘을 통합하여 인공 에이전트와 로봇의 강력하고 종신적인 학습을 지원하는 통합 프레임워크를 개발한다.

제안 방법

• 에이전트의 환경 상호작용을 단계적이고 감각운동 기반의 진행 방식으로 구조화함으로써 발달학적 학습을 구현하여 신경 가소성의 핵심 기간을 모방한다.
• 학습 진전을 보상 신호로 삼아 작업의 복잡도가 점차 증가하는 순서로 작업을 정렬함으로써 커리큘럼 학습을 적용한다.
• 예측 오차 또는 학습 진전을 내재적 보상으로 사용하여 자율 탐색과 자기 주도적 커리큘럼 생성을 이끄는 내재적 동기를 통합한다.
• 낮고 높은 수준의 표현을 작업 간에 공유함으로써 전이 학습을 활용하여 신규 작업과 이전에 학습한 작업 양쪽에서 성능 향상을 도모한다.
• 학습 과정에서 작업 식별자를 사용하지 않고도 핵심 상관관계를 유지함으로써 치명적 기억 상실을 완화하기 위해 기존 기억 기반 경로 메모리(GEM)를 사용한다.
• 다중 감각 입력과 점진적 스킬 습득을 통합하여 인공 에이전트에서 복잡한 신경인지 기능의 기원을 지원한다.

실험 결과

연구 질문

• RQ1 발달학적 및 커리큘럼 학습 원리를 어떻게 계산적으로 모델링할 수 있을까? 이를 통해 자율 에이전트가 의미 있는 점진적 순서로 점차 복잡한 스킬을 체계적이고 확장 가능한 방식으로 습득할 수 있는가?
• RQ2 밀도 높은 외재적 보상이 없는 상황에서 내재적 동기는 자율적이고 점진적인 학습을 이끄는 데 어떤 역할을 하는가?
• RQ3 전이 학습은 어떻게 효과적으로 활용되어 새로운 작업에서의 성능을 향상시키면서도 이전에 학습한 지식을 유지할 수 있는가?
• RQ4 신경 가소성의 핵심 기간은 인공 에이전트의 종신적 학습 아키텍처 설계에 어떤 영향을 미치는가?
• RQ5 발달학적, 커리큘럼적, 내재적 학습 메커니즘을 통합한 통합 프레임워크는 실제 비정적 환경에서 표준 지속적 학습 접근법보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• 학습 진전을 기반으로 하는 커리큘럼 학습은 의미 있는 점진적 순서로 작업을 정렬함으로써 신경망 시스템의 훈련 효율성과 성능을 크게 향상시킨다.
• 예측 오차 또는 학습 진전을 기반으로 한 내재적 동기는 에이전트가 밀도 높은 외재적 보상 없이도 효과적인 학습 커리큘럼을 자율적으로 생성하고 복잡한 환경을 탐색할 수 있도록 한다.
• 공유 표현과 기존 기억 기반 경로 메모리(GEM)와 같은 모델을 통해 전이 학습을 활용하면 정방향 및 역방향 전이 효과를 얻을 수 있으며, 치명적 기억 상실을 줄이고 일반화 능력을 향상시킨다.
• 가소성의 핵심 기간을 모방하는 발달학적 학습 전략은 신경망의 초기 아키텍처와 연결 패턴을 안내함으로써 후속 학습 성능을 향상시킬 수 있다.
• 발달학적, 커리큘럼적, 내재적, 전이 학습 메커니즘을 통합하면 더 강력하고 확장 가능하며 인간과 유사한 지속적 학습이 인공 에이전트에서 가능해진다.
• 현재의 지속적 학습 벤치마크는 너무 단순하여 실제 데이터의 복잡성, 불확실성, 시간적 상관관계를 반영하지 못하며, 더 현실적인 평가 환경이 필요하다.