[논문 리뷰] Continual Learning for Robotics: Definition, Framework, Learning Strategies, Opportunities and Challenges

Timothée Lesort, Vincenzo Lomonaco외 4명|arXiv (Cornell University)|2019. 06. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 214인용 수 474

한 줄 요약

연속 학습(CL)을 정의하고, 형식적 프레임워크, 분류학, 평가 질문, 그리고 학습 전략을 제안하는 포괄적 고찰로, 로봇 공학과 교차 도메인 전이에 초점을 맞춥니다.

ABSTRACT

Continual learning (CL) is a particular machine learning paradigm where the data distribution and learning objective changes through time, or where all the training data and objective criteria are never available at once. The evolution of the learning process is modeled by a sequence of learning experiences where the goal is to be able to learn new skills all along the sequence without forgetting what has been previously learned. Continual learning also aims at the same time at optimizing the memory, the computation power and the speed during the learning process. An important challenge for machine learning is not necessarily finding solutions that work in the real world but rather finding stable algorithms that can learn in real world. Hence, the ideal approach would be tackling the real world in a embodied platform: an autonomous agent. Continual learning would then be effective in an autonomous agent or robot, which would learn autonomously through time about the external world, and incrementally develop a set of complex skills and knowledge. Robotic agents have to learn to adapt and interact with their environment using a continuous stream of observations. Some recent approaches aim at tackling continual learning for robotics, but most recent papers on continual learning only experiment approaches in simulation or with static datasets. Unfortunately, the evaluation of those algorithms does not provide insights on whether their solutions may help continual learning in the context of robotics. This paper aims at reviewing the existing state of the art of continual learning, summarizing existing benchmarks and metrics, and proposing a framework for presenting and evaluating both robotics and non robotics approaches in a way that makes transfer between both fields easier.

연구 동기 및 목표

• CL(Continual Learning)의 정의와 범위 및 로봇 공학과의 관련성을 명확히 한다.
• CL 접근법의 제시와 평가를 표준화하기 위한 형식적 프레임워크를 제안한다.
• 용어를 해명하고 CL을 관련 패러다임(RL, 지도/비지도 학습)과 관련지어 설명한다.
• 로봇 공학과 비로봇 CL 연구 간의 전이를 가능하게 하는 벤치마크, 지표, 평가 질문을 식별한다.
• 로봇 시스템에서 CL의 기회와 도전과제 및 향후 방향을 강조한다.

제안 방법

• 연속 분포, 작업, 학습 시나리오의 정의를 포함한 continual learning에 대한 형식적 프레임워크를 제시한다.
• Single-Incremental-Task(SIT), Multi-Task(MT), Multi-Incremental-Task(MIT)라는 세 가지 CL 시나리오를 도입한다.
• 온라인 학습, 소샷, 커리큘럼, 메타러닝, 전이, 능동 학습과의 용어 및 관계를 명확히 한다.
• 평가를 표준화하기 위한(데이터 가용성, 사전 지식, 메모리/계산, 감독, 성능) 평가 질문의 집합을 제안한다.
• 실용적 CL 배치를 위한 여유 해석을 논의한다.

실험 결과

연구 질문

• RQ1 동적 환경에서 지속 학습을 가장 잘 설명하는 형식적 정의와 구조는 무엇인가?
• RQ2 CL을 로봇 공학과 비로봇 도메인 간에 공정하고 전이 가능한 평가를 가능하게 하도록 어떻게 구성할 수 있는가?
• RQ3 로봇 공학에 관련된 주요 CL 시나리오와 데이터/콘텐츠 업데이트 유형은 무엇이며, 이것이 알고리즘에 어떤 영향을 미치는가?
• RQ4 현실 세계의 로봇 시스템을 위한 CL 연구를 이끄는 지표, 벤치마크, 평가 질문은 무엇이어야 하는가?
• RQ5 구현체 에이전트 및 발전적/로봇 학습에 CL을 적용할 때 어떤 기회와 도전이 생기는가?

주요 결과

• 본 논문은 continual distributions, tasks, training sets의 정의를 포함한 CL의 형식적 프레임워크를 제공한다.
• SIT, MT, MIT를 시간에 따른 작업 구조를 분류하기 위한 표준 CL 시나리오로 도입한다.
• 관련 개념(온라인 학습, 커리큘럼 학습, 메타러닝, 전이 학습, 능동 학습)과 CL과의 관계를 명확히 한다.
• 데이터 사용, 메모리, 계산, 감독, 성능을 평가하기 위한 포괄적 평가 질문 집합을 제안한다.
• 콘텐츠 업데이트 유형(New Instances, New Concepts, NIC)과 사전 학습 및 지속적 적응에 대한 시사점을 논의한다.
• 메모리/계산 제약 프레임워크를 개략하고 로봇공학의 실용적 배치를 반영하기 위한 완화를 논의한다.