[논문 리뷰] Hierarchical Reinforcement Learning via Advantage-Weighted Information Maximization

Takayuki Osa, Voot Tangkaratt외 1명|arXiv (Cornell University)|2019. 01. 05.

Reinforcement Learning in Robotics참고 문헌 38인용 수 20

한 줄 요약

이 논문은 상황-행동 공간의 이산적이고 해석 가능한 잠재 표현을 이점 가중 중요도 샘플링을 통해 상호정보량을 최대화함으로써 학습하는 계층적 강화학습 방법인 adInfoHRL을 제안한다. 옵션 정책을 이점 함수의 모드로 모델링하고 결정적 정책 기울기 방법을 사용함으로써, 다양한 옵션 학습이 가능해지고 샘플 효율성이 향상되며, MuJoCo의 Walker2d 및 Ant 작업에서 TD3보다 뛰어난 성능을 보여준다.

ABSTRACT

Real-world tasks are often highly structured. Hierarchical reinforcement learning (HRL) has attracted research interest as an approach for leveraging the hierarchical structure of a given task in reinforcement learning (RL). However, identifying the hierarchical policy structure that enhances the performance of RL is not a trivial task. In this paper, we propose an HRL method that learns a latent variable of a hierarchical policy using mutual information maximization. Our approach can be interpreted as a way to learn a discrete and latent representation of the state-action space. To learn option policies that correspond to modes of the advantage function, we introduce advantage-weighted importance sampling. In our HRL method, the gating policy learns to select option policies based on an option-value function, and these option policies are optimized based on the deterministic policy gradient method. This framework is derived by leveraging the analogy between a monolithic policy in standard RL and a hierarchical policy in HRL by using a deterministic option policy. Experimental results indicate that our HRL approach can learn a diversity of options and that it can enhance the performance of RL in continuous control tasks.

연구 동기 및 목표

• 계층적 강화학습(HRL)에서 학습 효율성과 성능을 향상시키는 효과적인 계층 정책 구조를 식별하는 데 도전하는 것.
• 구분 가능한 행동 모드에 대응하는 상태-행동 공간의 이산적이고 해석 가능한 잠재 표현을 학습하는 것.
• 이점 가중 중요도 샘플링을 통해 옵션 정책이 이점 함수의 모드와 일치하도록 하는 것.
• 계층 정책 구조를 활용하여 연속 제어 작업의 샘플 효율성과 성능을 향상시키는 것.
• 게이팅과 옵션 정책 학습을 통해 결정적 정책 기울기 방법을 계층 정책으로 일반화하는 프레임워크를 개발하는 것.

제안 방법

• 이 방법은 옵션에 대한 혼합 정책으로 계층 정책를 설정하며, 상태에 따라 확률 기반으로 옵션을 선택하는 게이팅 정책을 사용한다.
• 상대적으로 높은 이점을 가진 상태-행동 쌍에 주목하기 위해 이점 가중 중요도 샘플링을 도입하여, 이점 함수의 모드에 대응하는 잠재 변수의 학습을 이끈다.
• 잠재 변수와 상태-행동 쌍 사이의 상호정보량을 최대화함으로써 상태-행동 공간의 이산적이고 해석 가능한 표현을 학습한다.
• 옵션 정책는 결정적 정책 기울기 방법을 통해 최적화되며, 게이팅 정책는 옵션 가치 함수를 통해 기대 수익을 최대화하도록 훈련된다.
• 표준 강화학습에서 단일 정책와 HRL에서의 계층 정책 사이의 유사성을 활용하여 통합된 훈련 절차를 가능하게 한다.
• t-SNE 시각화를 통해 학습된 옵션이 상태-행동 공간의 서로 다른 비중복 영역에서 활성화됨을 검증한다.

실험 결과

연구 질문

• RQ1 이점 가중 중요도 샘플링을 통한 상호정보량 최대화는 HRL에서 상태-행동 공간의 이산적이고 해석 가능한 잠재 표현을 효과적으로 학습할 수 있는가?
• RQ2 이점 함수의 모드와 일치하는 옵션 정책을 학습하면 연속 제어 작업에서 샘플 효율성과 성능이 향상되는가?
• RQ3 제안된 방법인 adInfoHRL은 복잡한 제어 환경에서 다양한 행동 패턴을 커버하는 다양한 옵션 세트를 학습할 수 있는가?
• RQ4 MuJoCo 벤치마크에서 adInfoHRL은 표준 TD3 및 기타 HRL 기준 모델에 비해 학습 속도와 최종 성능 측면에서 어떻게 비교되는가?
• RQ5 이점 가중 중요도 샘플링 메커니즘이 균일하거나 상태 전용 가중치에 비해 학습된 옵션 정책의 품질을 얼마나 향상시키는가?

주요 결과

• t-SNE 시각화를 통해 adInfoHRL은 상태-행동 공간의 서로 다른 비중복 영역에서 활성화되는 다양한 옵션을 성공적으로 학습함을 확인했다.
• MuJoCo 환경에서 Walker2d 및 Ant 작업에서 TD3에 비해 샘플 효율성과 최종 성능을 향상시켰다.
• 상호정보량 최대화를 통한 잠재 변수 학습은 상태-행동 공간을 의미 있는 행동 모드로 명확히 분할한다.
• 이점 가중 중요도 샘플링 메커니즘은 옵션 정책의 학습을 수익이 높은 상태-행동 공간 영역으로 효과적으로 이끈다.
• 게이팅 정책는 기대 수익을 최대화하는 데 효과적으로 옵션을 선택하는 것을 학습하여 효과적인 계층적 의사결정을 보였다.
• 이 방법은 연속 제어 작업에 잘 일반화되며, 학습 안정성과 최종 성능 측면에서 기준 HRL 방법들을 초월한다.