[논문 리뷰] Hierarchical Imitation and Reinforcement Learning

Hoang Le, Nan Jiang외 4명|arXiv (Cornell University)|2018. 03. 01.

Reinforcement Learning in Robotics참고 문헌 36인용 수 27

한 줄 요약

이 논문은 장기 계획, 희박 보상 환경에서 전문가의 노력과 탐색 비용을 줄이기 위해 계층적 정책의 다양한 수준에서 애자일러닝(IL)과 강화학습(RL)을 통합하는 계층적 가이던스 프레임워크를 제안한다. 하위 작업이 완료되지 않은 상태에서만 관련 상태 영역에서 고수준 전문가 피드백을 사용해 저수준 학습을 이끌어내는 방식으로, 몬테주마의 복수와 복잡한 미로 도메인에서의 실험을 통해 기존의 계층적 RL 및 표준 IL보다 더 빠른 학습과 뛰어난 레이블 효율성을 확보하였다.

ABSTRACT

We study how to effectively leverage expert feedback to learn sequential decision-making policies. We focus on problems with sparse rewards and long time horizons, which typically pose significant challenges in reinforcement learning. We propose an algorithmic framework, called hierarchical guidance, that leverages the hierarchical structure of the underlying problem to integrate different modes of expert interaction. Our framework can incorporate different combinations of imitation learning (IL) and reinforcement learning (RL) at different levels, leading to dramatic reductions in both expert effort and cost of exploration. Using long-horizon benchmarks, including Montezuma's Revenge, we demonstrate that our approach can learn significantly faster than hierarchical RL, and be significantly more label-efficient than standard IL. We also theoretically analyze labeling cost for certain instantiations of our framework.

연구 동기 및 목표

• 장기 계획, 희박 보상 작업에 대한 강화학습의 샘플 비효율성 문제를 해결한다.
• 계층적 작업 구조를 활용해 애자일러닝에서의 전문가 노력과 레이블링 비용을 줄인다.
• 고수준 전문가 피드백과 저수준 강화학습을 통합해 샘플 효율성을 향상시킨다.
• 학습을 관련 상태 영역에 집중시키고, 하위 작업이 아직 완료되지 않은 경우에만 수행하는 프레임워크를 개발한다.
• 계층적 가이던스가 순수한 계층적 RL 또는 표준 IL보다 더 빠른 학습과 높은 레이블 효율성을 가능하게 함을 입증한다.

제안 방법

• 고수준 전문가 피드백을 사용해 저수준 정책 학습을 이끄는 계층적 가이던스 프레임워크를 제안한다.
• 이 프레임워크를 순수한 애자일러닝(예: 계층적 가이던스 기반 행동 클로닝 및 DAgger)과 하이브리드 IL/RL 설정에 모두 적용한다.
• 고수준에서 메타컨트롤러가 하위 작업을 선택하고, 저수준 정책이 환경에서 이를 실행한다.
• 현재 하위 작업이 최적의 궤적에 포함된 상태 영역에서만 저수준 학습을 제한함으로써 샘플 효율성을 향상시킨다.
• 에이전트가 처음으로 양성 가짜 보상을 받은 후에야 활성화되는 지연된 경험 재현 버퍼를 구현하여 장기 계획 설정에서 학습을 가속화한다.
• 성공률이 90%를 초과하면 하위 정책 학습을 종료함으로써 안정적 수렴과 불필요한 학습을 줄인다.

실험 결과

연구 질문

• RQ1 장기 계획 작업에 대한 애자일러닝에서 계층적 구조를 어떻게 활용해 전문가 레이블링 비용을 줄일 수 있는가?
• RQ2 고수준 IL과 저수준 RL을 조합하면 순수한 계층적 RL보다 더 빠른 학습과 뛰어난 샘플 효율성을 달성할 수 있는가?
• RQ3 저수준 학습을 관련 상태 영역에 집중시키는 것이 전체 상태 학습보다 샘플 효율성 향상에 어떻게 기여하는가?
• RQ4 희박 보상과 장기 계획 수준이 높은 환경에서 계층적 가이던스의 성능에 어떤 영향을 미치는가?
• RQ5 고수준에서의 전문가 피드백은 저수준 전문가 감시의 필요성을 줄일 수 있는가? 이는 학습 속도를 유지하거나 향상시키는가?

주요 결과

• 제안된 계층적 가이던스 프레임워크는 완료되지 않은 하위 작업과 관련 상태 영역에서만 피드백을 제한함으로써 전문가의 노력을 크게 줄였다.
• 몬테주마의 복수에서 하이브리드 IL/RL 접근법(hg-DAgger/Q)은 기준선인 계층적 DQN(h-DQN)보다 더 빠르게 학습하고 높은 성능을 달성했다.
• 문을 여는 하위 작업(하위 작업 4)은 장기 계획으로 인해 가장 도전적이었지만, 집중된 학습과 지연된 경험 재현 덕분에 성공을 거두었다.
• 초기 전문가 제공 하위 목표 시퀀스와 감지기 이후 자동으로 레이블링이 가능해지면서 고수준 레이블의 수를 줄였다.
• 하위 목표 1~3의 실행 성공률은 90%를 초과하여 빠른 습득을 보였고, 하위 목표 4는 더 많은 학습이 필요했지만 여전히 이 프레임워크 하에서 수렴하였다.
• 하위 목표 수를 두 개로 줄인 h-DQN조차도 이 프레임워크에 비해 열등한 성능를 보였으며, 이는 순수한 계층적 RL에 비해 계층적 가이던스의 우월성을 입증한다.