[논문 리뷰] Continual Learning of Control Primitives: Skill Discovery via Reset-Games

Kelvin Xu, Siddharth Verma외 2명|arXiv (Cornell University)|2020. 11. 10.

Reinforcement Learning in Robotics참고 문헌 55인용 수 8

한 줄 요약

이 논문은 일반합 게임 프레임워크를 제안하며, 리셋이 필요 없는 강화학습과 비지도 스킬 탐색을 동시에 가능하게 한다. 리셋이 필요한 상황을 다양한 제어 프리미티브를 학습하는 데 사용되는 훈련 신호로 재구성함으로써, 작업 정책과 리셋 정책 간의 경쟁적 게임을 통해 수동 리셋 없이도 강건하고 이식 가능한 스킬을 학습한다. 이는 시뮬레이션 및 실제 환경 모두에서 장기적인 목표 작업에서 성능을 크게 향상시킨다.

ABSTRACT

Reinforcement learning has the potential to automate the acquisition of behavior in complex settings, but in order for it to be successfully deployed, a number of practical challenges must be addressed. First, in real world settings, when an agent attempts a task and fails, the environment must somehow "reset" so that the agent can attempt the task again. While easy in simulation, this could require considerable human effort in the real world, especially if the number of trials is very large. Second, real world learning often involves complex, temporally extended behavior that is often difficult to acquire with random exploration. While these two problems may at first appear unrelated, in this work, we show how a single method can allow an agent to acquire skills with minimal supervision while removing the need for resets. We do this by exploiting the insight that the need to "reset" an agent to a broad set of initial states for a learning task provides a natural setting to learn a diverse set of "reset-skills". We propose a general-sum game formulation that balances the objectives of resetting and learning skills, and demonstrate that this approach improves performance on reset-free tasks, and additionally show that the skills we obtain can be used to significantly accelerate downstream learning.

연구 동기 및 목표

• 실제 로봇 공학에서 수동 리셋이 비용이 많이 들고 비현실적인 비에피소드적, 리셋이 없는 강화학습 문제를 해결하기 위해.
• 인간이 제공하는 보상 형상화나 감독 없이 다양하고 시간적으로 연속된 제어 프리미티브(스킬)를 탐색하기 위해.
• 스킬 탐색과 리셋 없는 학습의 목표를 하나의 상호보완적인 훈련 프레임워크로 통합하기 위해.
• 작업 정책과의 적대적 상호작용을 통해 학습한 스킬을 활용해 샘플 효율성과 장기적인 목표 작업 성능을 향상시키기 위해.
• 리셋이 없는 적대적 환경에서 학습된 스킬이 이전의 비지도 또는 리셋 기반 방법보다 더 효과적이고 일반화 능력이 뛰어나다는 것을 입증하기 위해.

제안 방법

• 작업 정책과 리셋 정책 간의 일반합 게임을 정의하며, 작업 정책은 주어진 작업을 해결하려 하고, 리셋 정책은 상태를 왜곡하여 작업을 더 어렵게 만들려 한다.
• 스킬을 표현하기 위해 공유된 잠재 공간을 사용하여, 리셋 정책이 작업 정책이 해결해야 할 다양한 초기 상태를 생성할 수 있도록 한다.
• 이중 목적의 훈련 신호를 사용한다: 작업 정책은 작업 성공을 위해 최적화되고, 리셋 정책은 작업 정책에게 도전적인 상태를 탐색하도록 최적화되어 스킬의 다양성을 촉진한다.
• 작업 정책이 점차 더 복잡한 초기 상태에 노출되도록 하는 커리큘럼 유사 훈련 스케줄을 도입하여 강건성을 향상시킨다.
• 상태 표현(전체 상태 또는 (x,y) 위치)을 활용해 스킬 학습을 이끌며, 분석 결과 다양한 표현 간의 일반화 능력 향상이 확인되었다.
• 양방향 강화학습 알고리즘(SAC 등)을 두 정책 모두에 적용하여 연속 제어 환경에서 샘플 효율적인 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 훈련 프레임워크가 수동 감독 없이 동시에 리셋 없는 학습과 효과적인 스킬 탐색을 가능하게 할 수 있는가?
• RQ2 작업 정책과 리셋 정책 간의 적대적 상호작용이 표준 비지도 방법보다 더 다양하고 유용한 스킬을 생성하는가?
• RQ3 리셋이 없는 환경에서 학습된 스킬이 후행 장기 목표 작업으로 일반화되어, 리셋에 의존하는 방법보다 성능이 뛰어나게 되는가?
• RQ4 상태 표현의 선택(예: 전체 상태 대비 (x,y))이 학습된 리셋 스킬의 품질과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 이전의 비지도 및 리셋 기반 스킬 학습 접근법에 비해 샘플 효율성과 후행 성능을 얼마나 향상시키는가?

주요 결과

• 제안된 리셋 게임 방법은 이전의 비지도 방법에 비해 리셋이 없는 조건에서 Ant-MediumMaze 작업에서 훨씬 높은 수익을 달성했으며, DADS 및 DIAYN에 비해 성능 향상 폭이 최대 2.5배에 이르렀다.
• Ant-WayPoints 탐색 작업에서는 전체 상태 및 (x,y) 표현 설정 모두에서 베이스라인 방법을 능가했으며, 상태 표현 선택에 대한 강건성을 입증했다.
• 리셋 게임을 통해 학습된 스킬은 이전 방법보다 훨씬 더 넓은 상태 공간을 커버한다: Ant 환경에서의 궤적은 이전 방법이 단순한 방향성 이동만 학습하는 데 비해, 10m 이상의 거리로 이동하는 것을 보여준다.
• 오라클 리셋 없이도 효과적인 리셋 없는 학습이 가능했으며, 이전 방법이 리셋이 없어 실패하는 환경에서도 안정적인 훈련과 수렴을 달성했다.
• 계층적 정책이 리셋이 없는 전체 상태 설정에서 복잡한 미로를 성공적으로 통과함으로써, 학습된 스킬이 계층적 제어에 더 다양하고 효과적임을 입증했다.
• 분석 결과, 리셋 게임의 적대적 목적함수가 핵심임을 확인했다: 이를 제거하면 스킬의 다양성이 감소하고 후행 성능도 열 劣화되어 도전이 스킬 품질에 기여한다는 점을 확인했다.