[논문 리뷰] Environments for Lifelong Reinforcement Learning

Khimya Khetarpal, Shagun Sodhani외 2명|arXiv (Cornell University)|2018. 11. 26.

Reinforcement Learning in Robotics참고 문헌 11인용 수 6

한 줄 요약

이 논문은 점진적 기술 습득, 조합적 작업 해결 및 치명적 잊음에 대한 저항성을 지원하는 지속 가능한 강화학습(LRL) 환경을 위한 프레임워크를 제안한다. ALE, Gym, VirtualHome, Matterport3D와 같은 기존 환경을 평가하여 작업 계층 구조, 장면 변동성, 장기 계획 지원 측면에서 격차를 밝혀내고, 확장 가능한 작업 복잡도, 동적 장면 수정, 다중 척도 목표 구조를 갖춘 테스트베드 설계를 권장함으로써 강력한 LRL 평가 및 훈련을 가능하게 한다.

ABSTRACT

To achieve general artificial intelligence, reinforcement learning (RL) agents should learn not only to optimize returns for one specific task but also to constantly build more complex skills and scaffold their knowledge about the world, without forgetting what has already been learned. In this paper, we discuss the desired characteristics of environments that can support the training and evaluation of lifelong reinforcement learning agents, review existing environments from this perspective, and propose recommendations for devising suitable environments in the future.

연구 동기 및 목표

• 지속 가능한 강화학습(LRL) 에이전트를 지원하는 환경의 필수적 특성을 규명하기 위해.
• ALE, Gym, VirtualHome, Matterport3D와 같은 기존 강화학습 환경이 LRL 훈련 및 평가에 얼마나 적합한지 평가하기 위해.
• 특히 치명적 잊음과 기술 조합 측면에서 지속 학습을 위한 표준화된 벤치마크의 부재를 해결하기 위해.
• 계층적 작업, 동적 장면 변화, 다중 척도 계획을 지원하는 미래의 LRL 테스트베드를 위한 설계 권고 사항을 제안하기 위해.
• 일반화 및 장기 지식 유지에 중점을 두어 연구 공동체가 LRL 에이전트를 위한 공식적인 목표를 정의하도록 이끌기 위해.

제안 방법

• 단일 기술 작업에서 복합적이고 다중 기술 작업으로 이르는 점진적 작업 복잡도를 지원하는 지속 가능한 강화학습 테스트베드 프레임워크를 제안한다.
• 다중 모odal 감각 입력(예: 시각, 언어, 힘 피드백)을 통합한 가상 몸체 기반 설계로 더 풍부하고 인간과 유사한 학습 역학을 가능하게 한다.
• 물체의 추가/제거 및 장면 변화를 허용함으로써 진화하는 현실 세계 조건을 시뮬레이션할 수 있도록 동적 장면 수정 기능을 갖춘 환경을 설계한다.
• 단기(기술 수준) 및 장기(조합 수준) 계획이 요구되는 작업을 구조화하여 시간적 일반화 능력을 테스트한다.
• 이전에 해결된 작업을 재제시함으로써 지속적인 평가를 통합하여 치명적 잊음에 대한 저항력을 평가한다.
• Matterport3D 및 SUNCG와 같은 기존 데이터셋을 활용하여 몸체 기반 LRL에 적합한 현실적인, 주석이 달린 3D 실내 환경을 구축한다.

실험 결과

연구 질문

• RQ1 지속 가능한 강화학습를 지원하기 위해 환경가 가져야 할 핵심 기능은 무엇인가? 특히 작업 계층 구조와 기술 조합 측면에서.
• RQ2 ALE, Gym, VirtualHome, Matterport3D와 같은 기존 환경들이 지속 학습 요구사항과 얼마나 부합하는가?
• RQ3 현재 환경들이 강화학습 에이전트의 장기 계획 및 치명적 잊음에 대한 저항성 지원에 얼마나 효과적인가?
• RQ4 가상 몸체를 어떻게 활용하여 현실 세계 학습 역학을 시뮬레이션하면서도 확장 가능하고 커리큘럼 기반 훈련을 가능하게 할 수 있는가?
• RQ5 미래의 LRL 에이전트 평가를 위한 테스트베드를 설계할 때 따라야 할 설계 원칙은 무엇인가?

주요 결과

• ALE 및 Gym과 같은 기존 환경는 작업 계층 구조와 장면 변동성이 부족하여 조합적 기술 학습 지원 능력이 제한된다.
• VirtualHome는 프로그램 기반 작업 정의를 통해 기술 조합을 가능하게 하지만 장면 변동성이 없어 지속 학습에 대한 유용성이 떨어진다.
• Matterport3D 및 SUNCG는 의미 주석이 달린 풍부한 3D 장면 데이터를 제공하여 지속 학습 환경 구축에 강력한 기초를 제공한다.
• 현재 플랫폼들은 이전 작업의 재평가를 충분히 지원하지 않아 치명적 잊음에 대한 저항력을 측정하는 데 핵심적인 문제를 야기한다.
• 지속 가능한 강화학습 분야의 진전을 저해하는 주요 장애물 중 하나는 표준화된 벤치마크와 공식적인 목표의 부재이다.
• 성공적인 LRL 테스트베드는 확장 가능한 작업 복잡도, 동적 환경 수정, 다중 척도 계획을 지원해야 하며, 이는 지속 가능한 에이전트의 강력한 평가를 가능하게 한다.