[논문 리뷰] Learning by Playing - Solving Sparse Reward Tasks from Scratch

Martin Riedmiller, Roland Hafner외 7명|arXiv (Cornell University)|2018. 02. 28.

Reinforcement Learning in Robotics참고 문헌 40인용 수 154

한 줄 요약

SAC-X 소개하는 계층적 RL 프레임워크로, 보조 작업 집합과 학습된 스케줄러를 사용하여 탐색과 정책 학습을 주도함으로써 처음부터 복잡한 희소 보상 태스크를 학습한다.

ABSTRACT

We propose Scheduled Auxiliary Control (SAC-X), a new learning paradigm in the context of Reinforcement Learning (RL). SAC-X enables learning of complex behaviors - from scratch - in the presence of multiple sparse reward signals. To this end, the agent is equipped with a set of general auxiliary tasks, that it attempts to learn simultaneously via off-policy RL. The key idea behind our method is that active (learned) scheduling and execution of auxiliary policies allows the agent to efficiently explore its environment - enabling it to excel at sparse reward RL. Our experiments in several challenging robotic manipulation settings demonstrate the power of our approach.

연구 동기 및 목표

• 보조 작업을 활용하여 외부 보상이 희소한 환경에서 학습을 촉진한다.
• 보조 의도와 주요 태스크를 공동으로 학습하는 계층적 RL 프레임워크를 제안한다.
• 탐색 및 외부 태스크 성능 향상을 위해 보조 정책의 실행 순서를 제어하는 스케줄러를 개발한다.
• 시뮬레이션에서 실제 로봇 하드웨어로의 전이 가능성과 샘플 효율적인 학습을 입증한다.

제안 방법

• 보조 보상 벡터와 해당 의도 정책이 추가된 주요 희소 보상 MDP를 정의한다.
• 공유 리플레이 버퍼를 사용한 off-policy 그라디언트 업데이트를 통해 각 보조 작업과 주요 작업의 의도를 학습한다.
• 에피소드 내에서 의도를 순차화하도록 Boltzmann에서 영감을 받은 정책을 사용한 태스크 선택에 대한 스케줄러를 훈련한다.
• Retrace를 사용한 off-policy Q-함수를 평가하여 모든 의도에 걸쳐 안정적인 학습을 달성한다.
• 일정 관리를 커리큘럼 학습 및 계층적 RL과 연관지어 학습된 하위 정책의 안전한 조합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 의미적으로 근거가 있는 보조 태스크가 희소 보상 RL 설정에서 탐색과 학습을 가속할 수 있는가?
• RQ2 보조 의도 간 전환을 위한 학습된 스케줄러가 균등하거나 무작위 스케줄링과 비교해 외부 태스크 성능을 향상시키는가?
• RQ3 제한된 외부 보상으로 처음부터 쌓기 및 정리와 같은 복잡한 로봇 조작 태스크를 해결할 수 있는가?
• RQ4 학습 속도와 데이터 효율성 측면에서 실제 로봇 실험에서 SAC-X의 성능은 어떤가?
• RQ5 다중 외부 태스크에 걸친 보조 태스크와 외부 태스크 성능 간의 관계는 무엇인가?

주요 결과

• SAC-U와 SAC-Q는 블록 쌓기와 같은 희소 외부 태스크를 안정적으로 학습하며, 이 태스크에서 실패하는 DDPG를 능가한다.
• 학습된 스케줄러(SAC-Q)는 일반적으로 학습 속도를 가속하고 균일 스케줄링(SAC-U)보다 약간 더 나은 최종 성능을 달성할 수 있다.
• 이 접근법은 원시 픽셀 입력과 특성에서의 학습을 모두 가능하게 하며, 픽셀로부터의 학습은 더 느리지만 여전히 성공적이다.
• 보조 의도 스케줄링은 비스케줄된 기본(IUA)과 비교해 학습 시간을 크게 줄이고 신뢰성을 향상시킨다.
• 실제 로봇 실험에서 블록을 들어올리는 학습은 약 10시간의 실시간 학습으로 역량을 얻고, 실험에서 높은 성공률을 보인다.
• 이 방법은 더 복잡한 태스크(예: 여러 객체를 사용한 정리)로 확장되며, SAC-Q가 모든 외부 태스크와 보조 태스크를 학습하는 반면, 기준선은 실패한다.