[논문 리뷰] Solving Compositional Reinforcement Learning Problems via Task Reduction

Yunfei Li, Yilin Wu외 3명|arXiv (Cornell University)|2021. 03. 13.

Reinforcement Learning in Robotics참고 문헌 76인용 수 8

한 줄 요약

이 논문은 상태공간의 변형을 통해 어려운 작업을 더 쉽게 풀 수 있는 작업으로 감소시켜 구성적이고 보상이 흐린 연속 제어 과제를 해결하는 강화학습 프레임워크인 Self-Imitation via Reduction(SIR)을 소개한다. 이러한 감소된 작업에서 생성된 해결 경로를 자기 자신이 모방함으로써 SIR는 계층적 정책이나 수작업으로 설계된 스킬이 필요 없이 학습을 가속화하며, 밀도가 낮은 보상 환경에서 푸시, 스택킹, 네비게이션 과제에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a novel learning paradigm, Self-Imitation via Reduction (SIR), for solving compositional reinforcement learning problems. SIR is based on two core ideas: task reduction and self-imitation. Task reduction tackles a hard-to-solve task by actively reducing it to an easier task whose solution is known by the RL agent. Once the original hard task is successfully solved by task reduction, the agent naturally obtains a self-generated solution trajectory to imitate. By continuously collecting and imitating such demonstrations, the agent is able to progressively expand the solved subspace in the entire task space. Experiment results show that SIR can significantly accelerate and improve learning on a variety of challenging sparse-reward continuous-control problems with compositional structures. Code and videos are available at https://sites.google.com/view/sir-compositional.

연구 동기 및 목표

• 사전 정의된 스킬이나 계층적 아키텍처에 의존하지 않고 흐린 보상 환경에서 복잡한 구성적 의사결정 정책을 학습하는 데 도전하는 것.
• 자기 생성된 시범 경로를 통해 정책 학습에 자연스럽게 구성적 인덕티브 바이어스를 통합하는 방법을 개발하는 것.
• 어려운 과제를 반복적으로 해결된 과제로 감소시키고 그 결과 경로를 모방함으로써 점차 더 복잡한 과제를 효율적으로 학습하는 것.
• 작업 감소와 모방 학습의 조합이 어려운 연속 제어 벤치마크에서 커리큘럼 학습과 계층적 강화학습보다 우수한 성능을 낼 수 있음을 보여주는 것.

제안 방법

• SIR는 환경 상태를 변형시켜 어려운 과제를 해법이 알려진 더 단순한 변형으로 감소시킴으로써 작업 감소를 수행한다.
• 에이전트는 목표 조건 정책과 보편적 가치 함수를 사용하여 상태공간 탐색을 통해 감소를 탐색하고 실행한다.
• 어려운 과제가 감소를 통해 해결되면, 그 결과 경로가 모방 학습을 위한 시범으로 수집된다.
• 에이전트는 작업 감소와 모방 학습을 번갈아 수행하며, 과제 공간 내에서 해결 가능한 과제의 집합을 점차 확장한다.
• 시각적 환경에서는 SIR이 이미지 데이터를 저차원 잠재 공간으로 매핑하기 위해 사전 훈련된 β-VAE를 사용하며, CEM 최적화를 통해 잠재 공간에서 감소를 수행한다.
• SIR는 어떤 표현력 있는 정책 아키텍처와도 작동하며, 명시적인 스킬 또는 옵션 정의가 필요 없어 계층적 강화학습의 최적화 과제를 피한다.

실험 결과

연구 질문

• RQ1 작업 감소가 흐린 보상 환경에서 복잡한 구성적 정책의 효율적 학습을 가능하게 할 수 있는가?
• RQ2 SIR는 표준 강화학습, 모방 학습, 계층적 강화학습과 비교해 복잡한 과제를 어떻게 해결하는가?
• RQ3 수동적인 커리큘럼 설계 없이도 SIR가 어려운 과제를 해결된 과제로 감소시켜 암묵적인 커리큘럼을 구성할 수 있는가?
• RQ4 SIR가 β-VAE를 통한 표현 학습과 결합했을 때 시각적 입력 도메인으로 일반화될 수 있는가?
• RQ5 SIR를 커리큘럼 학습과 조합하면 각각의 방법으로는 해결이 어려운 과제를 해결할 수 있는가?

주요 결과

• SIR는 로봇 푸시, 스택킹, 미로 내비게이션과 같은 어려운 흐린 보상 연속 제어 과제에서 학습을 크게 가속화하고 향상시킨다.
• 4-Room 미로 및 3-Room 미로 환경에서 SIR는 PPO, SIL, HIRO 및 DSC와 같은 HRL 기준선을 능가하며, 구성 전략이 필요한 복잡한 시나리오에서 특히 뛰어난 성능을 보인다.
• 균일한 과제 샘플러를 사용한 SIR는 GoalGAN 기반 커리큘럼 학습보다 우수한 성능을 보이며, 10^6개의 샘플이 필요로 하는 GoalGAN 대비 경량이고 암묵적인 커리큘럼을 통해 더 나은 결과를 달성한다.
• 시각적 U-Wall 미로 과제에서는 SIR가 β-VAE와 CEM 기반 감소를 결합해 PPO 및 SIL보다 뛰어난 성능을 보이며, 이미지 기반 환경에서의 효과성을 입증한다.
• 수작업으로 설계된 커리큘럼과 결합한 SIR는 단독으로 커리큘럼 학습으로는 해결되지 않는 어려운 스택킹 과제를 성공적으로 해결한다.
• SIR는 물체 기반 상태공간과 시각적 상태공간 양쪽 모두에서 뛰어난 성능를 유지하며, 광범위한 적용 가능성과 강건성을 보여준다.