[논문 리뷰] Hierarchical Deep Reinforcement Learning: Integrating Temporal Abstraction and Intrinsic Motivation

Tejas D. Kulkarni, Karthik Narasimhan외 2명|arXiv (Cornell University)|2016. 04. 20.

Reinforcement Learning in Robotics참고 문헌 48인용 수 414

한 줄 요약

이 논문은 내재적 목표와 시간적 추상화를 사용하여 탐색을 주도하는 이층 심층 Q-네트워크(h-DQN)를 도입하며, Montezuma’s Revenge와 같은 희박한 보상 지연 태스크에서 학습을 가능하게 한다.

ABSTRACT

Learning goal-directed behavior in environments with sparse feedback is a major challenge for reinforcement learning algorithms. The primary difficulty arises due to insufficient exploration, resulting in an agent being unable to learn robust value functions. Intrinsically motivated agents can explore new behavior for its own sake rather than to directly solve problems. Such intrinsic behaviors could eventually help the agent solve tasks posed by the environment. We present hierarchical-DQN (h-DQN), a framework to integrate hierarchical value functions, operating at different temporal scales, with intrinsically motivated deep reinforcement learning. A top-level value function learns a policy over intrinsic goals, and a lower-level function learns a policy over atomic actions to satisfy the given goals. h-DQN allows for flexible goal specifications, such as functions over entities and relations. This provides an efficient space for exploration in complicated environments. We demonstrate the strength of our approach on two problems with very sparse, delayed feedback: (1) a complex discrete stochastic decision process, and (2) the classic ATARI game `Montezuma's Revenge'.

연구 동기 및 목표

• 희박하고 지연된 보상 환경에서 학습 문제를 다룬다.
• 내재적 동기를 탐색으로 안내하기 위해 시간적 추상화(옵션)를 통합한다.
• 탐색을 제약할 수 있도록 엔티티와 관계와 같은 구조화된 공간에서의 목표를 유연하게 정의한다.
• 두 수준의 확장 가능한 심층 RL 아키텍처(메타-컨트롤러와 컨트롤러)와 공동 학습을 개발한다.

제안 방법

• 상위 레벨의 메타-컨트롤러가 내재적 목표 g를 선택하고, 하위 레벨의 컨트롤러가 s와 g를 주어진 상태에서 원시 동작 a를 선택하는 h-DQN을 도입한다.
• 가치 함수 V(s,g)를 깊은 네트워크로 근사하고 Q1(s,a;joint with g)와 Q2(s,g)를 컨트롤러와 메타-컨트롤러 각각으로 사용하여 근사한다.
• D1과 D2라는 분리된 경험 메모리와 대응하는 손실 함수 L1과 L2를 사용하여 DQN 스타일 업데이트로 Q1과 Q2를 학습한다.
• 목표 g에 도달했을 때 내부 크리틱이 제공하는 내재 보상 rt(g)와 메타-컨트롤러의 목표를 위한 환경의 외재 보상 ft를 사용한다.
• 두 가지 시간 규모의 전이를 모델링한다: 빠른 전이(s,a,g,r,s')와 느리고 목표 지향적인 전이(s,g, f, s')를 통해 서로 다른 시간 해상도에서 학습한다.
• 또한 두 컨트롤러 모두를 대상으로 적응적 어닐링을 갖는 ε-탐욕 탐색을 채택하고 재생 메모리에서의 확률적 경사하강법으로 파라미터를 업데이트한다.

실험 결과

연구 질문

• RQ1 내재적 목표를 가진 계층적 심층 RL이 희박 보상 환경에서 평면 기반 baselines에 비해 학습을 향상시킬 수 있는가?
• RQ2 엔티티와 관계와 같은 구조화된 공간에서 정의된 목표가 탐색 효율성과 데이터 효율성을 향상시키는가?
• RQ3 두 수준(DQN 프레임워크의 컨트롤러와 메타-컨트롤러)이 Montezuma’s Revenge와 같은 복잡한 태스크로 확장 가능한가?
• RQ4 장기적 크레딧 할당에서 내재적 목표의 학습 및 구성의 효과는 어떠한가?

주요 결과

• 이산 확률적 의사결정 프로세스에서 지연된 외재 보상 하에서 h-DQN 접근법은 중간 상태를 중요한 상태로 방문하는 정책을 발견하였고, 표준 Q-러닝 대비 평균 보상이 크게 증가했다(보고 된 설정에서 약 0.13 대 0.01).
• Montezuma’s Revenge에서 두 단계 학습은 에이전트가 열쇠에 도달하고 문을 여는 것을 학습하도록 하여, 일반 DQN과 Gorila DQN이 성능이 좋지 않은 곳에서 높은 외재 보상을 얻었다(기본 DQN 점수는 0으로 보고되고, Gorila DQN은 인용된 비교에서 약 4.16).
• 아키텍처는 엔티티/관계에 대한 내재적 동기가 탐색을 효과적으로 제약하고 시각적으로 풍부하며 희박 보상 도메인에서 장기 horizon 계획을 지원할 수 있음을 보여준다.
• 모델은 더 간단한 목표를 먼저 숙달하고 더 어려운 목표로 진행하는 점진적 마스터링을 보여주며, 훈련 중 목표 선택에서 의미 있는 커리큘럼 유사 진행을 시사한다.