[논문 리뷰] Generating Adjacency-Constrained Subgoals in Hierarchical Reinforcement Learning

Tianren Zhang, Shangqi Guo외 3명|arXiv (Cornell University)|2020. 06. 20.

Reinforcement Learning in Robotics참고 문헌 44인용 수 29

한 줄 요약

이 논문은 목표 조건형 계층 강화 학습(HRL)에서 고수준 행동 공간을 줄이기 위해 k단계 인접 제약을 제안한다. 이 제약은 현재 상태에서 k단계 이내로 도달 가능한 상태로 하위목표 생성을 제한함으로써 학습 효율성을 향상시킨다. 이 방법은 결정론적 MDP에서 최적 정책을 유지하며, 가시성 네트워크를 통해 제약을 구현한다. 이는 기존의 SOTA HRL 방법들(예: HIRO)에 비해 샘플 효율성과 渐近 성능 향상에 기여한다.

ABSTRACT

Goal-conditioned hierarchical reinforcement learning (HRL) is a promising approach for scaling up reinforcement learning (RL) techniques. However, it often suffers from training inefficiency as the action space of the high-level, i.e., the goal space, is often large. Searching in a large goal space poses difficulties for both high-level subgoal generation and low-level policy learning. In this paper, we show that this problem can be effectively alleviated by restricting the high-level action space from the whole goal space to a $k$-step adjacent region of the current state using an adjacency constraint. We theoretically prove that the proposed adjacency constraint preserves the optimal hierarchical policy in deterministic MDPs, and show that this constraint can be practically implemented by training an adjacency network that can discriminate between adjacent and non-adjacent subgoals. Experimental results on discrete and continuous control tasks show that incorporating the adjacency constraint improves the performance of state-of-the-art HRL approaches in both deterministic and stochastic environments.

연구 동기 및 목표

• 목표 조건형 HRL에서 고수준 행동 공간이 크기(즉, 전체 목표 공간)로 인해 발생하는 학습 비효율성을 해결하기 위해.
• 고수준 행동을 k단계 이내의 하위목표로 제한함으로써 탐색 부담을 줄이고 가치 함수 근사 향상하기 위해.
• 고수준 행동 공간을 크게 줄이면서도 계층 정책의 최적성을 유지하기 위해.
• 가장자리 네트워크를 통해 인접한 하위목표와 비인접 하위목표를 구분할 수 있도록 유연한 구현을 가능하게 하기 위해.
• 더 자주 그리고 더 의미 있는 내재 보상을 제공함으로써 저수준 정책 학습을 향상시키기 위해.

제안 방법

• 현재 상태에서 k단계 이내로 이동 가능한 상태에만 하위목표를 선택할 수 있도록 제약을 부여하는 k단계 인접 제약을 제안한다.
• 이 제약이 결정론적 MDP에서 최적 계층 정책을 유지함을 이론적으로 증명한다.
• 대조적 학습을 통해 훈련된 가시성 네트워크를 도입하여 주어진 하위목표가 현재 상태에서 k단계 이내에 있는지 여부를 분류한다.
• 가시성 네트워크를 활용해 고수준 행동을 필터링함으로써, 유의미하고 가까운 하위목표들만 포함된 행동 공간으로 효과적으로 축소한다.
• 고수준 정책이 오직 인접한 하위목표만 선택하도록 하여, 목표 조건형 HRL 프레임워크에 인접 제약을 통합한다. 저수준 정책은 이러한 하위목표를 향해 학습된다.
• 가시성 네트워크를 훈련시키기 위해 상호정보 기반 목적함수를 사용하여 다양한 환경 간 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 k단계 이웃 하위목표로 고수준 행동 공간을 제한할 경우, 결정론적 MDP에서 최적 계층 정책이 유지되는가?
• RQ2 영역 특화 지식이나 환경 역학에 의존하지 않고 k단계 인접 제약를 실용적으로 구현할 수 있는가?
• RQ3 이 인접 제약은 이산적 및 연속적 제어 작업 모두에서 샘플 효율성과 渐近 성능 향상에 기여하는가?
• RQ4 가시성 네트워크는 작업에 특화된 설계 없이도 다양한 환경과 작업 간에 일반화 가능한가?
• RQ5 HIRO와 같은 최신 SOTA HRL 방법들과 비교했을 때, 제안된 방법은 학습 속도와 최종 성능 측면에서 어떤가?

주요 결과

• k단계 인접 제약는 결정론적 MDP에서 최적 계층 정책을 유지함을 보여주며, 이 제약의 사용에 대한 이론적 근거를 제공한다.
• 가시성 네트워크는 인접한 하위목표와 비인접 하위목표를 효과적으로 분류함으로써 제약의 실용적 구현을 가능하게 한다.
• MuJoCo 연속 제어 작업에서 HIRO에 비해 샘플 효율성을 최대 2.5배 향상시키고, 渐近 성능을 최대 30% 향상시켰다.
• 이산적 격자 세계 환경에서는 기존의 HRL 기반 방법들보다 더 높은 성공률과 더 빠른 수렴 속도를 달성했다.
• 가시성 네트워크는 희박 보상과 장거리 계획이 필요한 환경을 포함해 다양한 작업과 환경 간에 잘 일반화된다.
• 스토케스틱 및 결정론적 환경 모두에서 강건성을 보이며, 다양한 평가 지표에서 SOTA HRL 방법들을 능가했다.