[논문 리뷰] Jelly Bean World: A Testbed for Never-Ending Learning

Emmanouil Antonios Platanios, Abulhair Saparov외 1명|ArXiv.org|2020. 02. 15.

Reinforcement Learning in Robotics참고 문헌 14인용 수 7

한 줄 요약

이 논문은 강화학습에서 지속적 학습을 위한 고도로 구성 가능하고 제어 가능하며 성능이 뛰어난 테스트베드인 젤리빈 월드(Jelly Bean World, JBW)를 소개한다. 이 테스트베드는 다중 작업, 다중 모odal, 커리큘럼 학습 설정을 포함한 복잡하고 비정상적인 환경을 제공하며, 일반 지능이 이러한 역동적인 환경에서 높은 성능을 내기 위해 필수적임을 입증한다. 여기서 표준 강화학습 에이전트는 치명적인 기억 상실과 낮은 적응 능력으로 실패한다.

ABSTRACT

Machine learning has shown growing success in recent years. However, current machine learning systems are highly specialized, trained for particular problems or domains, and typically on a single narrow dataset. Human learning, on the other hand, is highly general and adaptable. Never-ending learning is a machine learning paradigm that aims to bridge this gap, with the goal of encouraging researchers to design machine learning systems that can learn to perform a wider variety of inter-related tasks in more complex environments. To date, there is no environment or testbed to facilitate the development and evaluation of never-ending learning systems. To this end, we propose the Jelly Bean World testbed. The Jelly Bean World allows experimentation over two-dimensional grid worlds which are filled with items and in which agents can navigate. This testbed provides environments that are sufficiently complex and where more generally intelligent algorithms ought to perform better than current state-of-the-art reinforcement learning approaches. It does so by producing non-stationary environments and facilitating experimentation with multi-task, multi-agent, multi-modal, and curriculum learning settings. We hope that this new freely-available software will prompt new research and interest in the development and evaluation of never-ending learning systems and more broadly, general intelligence systems.

연구 동기 및 목표

• 강화학습에서 지속적 학습 시스템을 평가하기 위한 표준화되고 제어 가능한 환경의 부족을 해결하기 위해.
• 일반화 및 계속되는 적응 능력을 시험할 수 있는 복잡하고 역동적이며 상호 연관된 학습 작업을 지원하는 테스트베드를 설계하기 위해.
• 다중 에이전트, 다중 모달 인식(시각 및 냄새), 커리큘럼 학습, 비정상적인 보상 함수를 실험할 수 있도록 지원하기 위해.
• narrow task 특화를 초월해 강화학습 에이전트의 일반 지능을 평가하기 위한 재현 가능하고 고성능 프레임워크를 제공하기 위해.
• 확장 가능하고 확장 가능한 환경을 제공함으로써 수명 주기적, 누적적, 자가 향상 학습 시스템에 대한 연구를 촉진하기 위해.

제안 방법

• 다양한 아이템 유형(예: 젤리빈, 양파, 벽 등)과 에이전트 이동 메커니즘을 갖춘 2차원 격자 기반 환경을 정의하기 위해.
• 시간에 따라 변화하는 보상 함수, 아이템 생성 빈도, 환경 변화를 통해 비정상적인 역학을 구현하기 위해.
• 시각(시야 제약 있음)과 냄새(방향성 있음, 비시각적, 상호작용 불가)를 포함한 다중 인식 모odal을 지원하기 위해.
• 시간이 지남에 따라 진화하는 단계별 보상 함수를 통해 커리큘럼 학습을 도입하기 위해(예: 먼저 양파를 피하고, 이후 젤리빈을 수집함).
• 환경 난이도를 정의하기 위해 콜모고로프 복잡도 기반의 형식적 복잡도 측정법을 사용하여 전문화된 학습과 일반 학습을 구분하기 위해.
• 환경 및 에이전트 성능을 실험 간에 저장, 로드, 배포, 시각화할 수 있는 도구를 제공하기 위해.

실험 결과

연구 질문

• RQ1 시간이 지남에 따라 보상 함수가 변화하는 비정상적이고 다중 작업 환경에서 강화학습 에이전트가 성공적으로 학습할 수 있는가?
• RQ2 복잡하고 가림이 있는 환경에서 다중 모달 인식(시각 및 냄새)은 학습 성능과 내성에 어떤 영향을 미치는가?
• RQ3 커리큘럼 학습은 역동적이고 상호 연관된 작업에서 학습 효율성과 최종 성능을 어느 정도 향상시키는가?
• RQ4 커리큘럼 기반 학습을 통해 훈련된 에이전트는 비커리큘럼 기반 훈련과 비교해 새로운, 알려지지 않은 작업 구성으로 일반화할 수 있는가?
• RQ5 콜모고로프 복잡도로 측정된 환경의 복잡도는 일반 학습 능력이 필요한 정도와 어떻게 관련이 있는가?

주요 결과

• 커리큘럼 학습을 통해 훈련된 에이전트는 비커리큘럼 기반 베이스라인에 비해 보상 수율이 유의미하게 높았으며, 최대 0.025 pts/s에 도달했고, 베이스라인은 약 0.005 pts/s에서 성능이 정체되었다.
• 시각 전용 에이전트는 가림이 있는 환경에서 어려움을 겪어 보상 수율이 단지 0.015 pts/s에 머물렀지만, 일부 설정에서는 냄새 기반 에이전트가 더 뛰어난 성능을 보였다.
• 시각과 냄새의 조합은 비가림 환경에서 보상 수율 0.03 pts/s를 달성하여 다중 모달 인식의 상호보완적 이점이 입증되었다.
• 보상 함수가 변화하는 비정상적 환경에서 커리큘럼 스케줄을 사용한 에이전트는 더 효과적으로 적응했고, 성능 정체를 피하는 데 성공했다.
• 이 테스트베드는 작업 우선순위가 변경되었을 때 표준 강화학습 에이전트에서 치명적인 기억 상실을 유도하여 일반 학습 메커니즘의 필요성을 부각시켰다.
• 탐색 전략이 간단한 설정에서는 효과적이지만, 가림이 있거나 피하기를 요구하는 작업에서는 탐색 중심 에이전트가 완전히 실패했으며, 이는 좁은 인식 범위와 반응형 정책의 한계를 드러냈다.