[논문 리뷰] Landmark-Guided Subgoal Generation in Hierarchical Reinforcement Learning

Junsu Kim, Younggyo Seo외 1명|arXiv (Cornell University)|2021. 10. 26.

Reinforcement Learning in Robotics참고 문헌 52인용 수 19

한 줄 요약

이 논문은 주어진 상태들 중에서 커버리지 및 신선도 기준을 통해 선택된 지표점(landmark)을 통해 보조목표(subgoal) 생성을 안내함으로써 탐색 효율성을 향상시키는 계층적 강화학습 프레임워크인 HIGL을 제안한다. 지표점 기반 그래프를 구성하고 목표로 향하는 최단경로상의 가장 가까운 지표점을 선택함으로써 고수준 정책의 행동 공간을 줄여, 장수명 제어 과제에서 뛰어난 성능을 달성한다. 특히 희박한 보상 환경에서 Ant Maze에서 65.1%의 성공률을 기록하며 HRAC의 17.6%를 압도적으로 뛰어넘는다.

ABSTRACT

Goal-conditioned hierarchical reinforcement learning (HRL) has shown promising results for solving complex and long-horizon RL tasks. However, the action space of high-level policy in the goal-conditioned HRL is often large, so it results in poor exploration, leading to inefficiency in training. In this paper, we present HIerarchical reinforcement learning Guided by Landmarks (HIGL), a novel framework for training a high-level policy with a reduced action space guided by landmarks, i.e., promising states to explore. The key component of HIGL is twofold: (a) sampling landmarks that are informative for exploration and (b) encouraging the high-level policy to generate a subgoal towards a selected landmark. For (a), we consider two criteria: coverage of the entire visited state space (i.e., dispersion of states) and novelty of states (i.e., prediction error of a state). For (b), we select a landmark as the very first landmark in the shortest path in a graph whose nodes are landmarks. Our experiments demonstrate that our framework outperforms prior-arts across a variety of control tasks, thanks to efficient exploration guided by landmarks.

연구 동기 및 목표

• 큰 고수준 행동 공간으로 인해 목표 조건이 부여된 계층적 강화학습에서 탐색 성능이 열 劣화되는 문제를 해결하기 위해.
• 희박한 보상 환경에서 장수명 연속 제어 과제의 샘플 효율성과 학습 성능을 향상시키기 위해.
• 유망하고 정보가 풍부한 상태(지표점)에 집중함으로써 고수준 정책의 행동 공간을 줄이는 방법을 개발하기 위해.
• 다양성(커버리지)과 신선도(예측 오차)를 모두 만족하는 지표점을 통해 보조목표 생성을 안내함으로써 탐색을 향상시키기 위해.
• 분야 특화 지식이나 사전 정의된 보조목표 공간에 의존하지 않고도 확장 가능하고 효과적인 보조목표 탐색을 가능하게 하기 위해.

제안 방법

• 지표점은 두 가지 기준을 사용해 샘플링된다: (a) 방문된 상태들 사이의 공간 분산을 극대화하기 위한 커버리지 기반 샘플링, (b) 상태 오토인코더의 예측 오차를 이용한 희귀하거나 탐색되지 않은 상태 식별을 위한 새로운 기반 샘플링.
• 노드로 지표점, 현재 상태, 목표를 포함하는 지표점 그래프를 구성하여 최단경로 계획을 통해 가장 긴급한 지표점을 식별한다.
• 고수준 정책은 선택된 지표점 향한 보조목표 생성을 학습함으로써 행동 공간을 도달 가능하고 유망한 방향으로 좁히며 효과적으로 작용한다.
• 지표점 선택 과정은 현재 상태에서 목표로 향하는 최단경로상의 첫 번째 지표점을 찾기 위해 지표점 그래프에 다익스트라 알고리즘을 적용한다.
• 기존의 목표 조건 기반 HRL 아키텍처와 통합되며, 동일한 저수준 정책과 보상 형식화를 유지하면서 고수준 정책의 행동 공간과 학습 목표만 수정한다.
• 이 방법은 훈련 중에만 작동하며 추론 시 계획 오버헤드가 없어 배포 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 지표점 기반 보조목표 안내가 장수명 과제에서 고수준 정책의 행동 공간을 줄이고 탐색 효율성을 향상시키는가?
• RQ2 커버리지 기반과 새로운 기반 샘플링 기법이 다양하고 효과적인 탐색을 어떻게 비교할 수 있는가?
• RQ3 목표로 향하는 최단경로상의 가장 가까운 지표점을 선택하는 것이 균일 샘플링이나 k-인접 영역 방법보다 더 빠른 수렴과 높은 성공률을 이끌어내는가?
• RQ4 희박한 보상 환경에서 탐색이 특히 어려운 상황에서 HIGL이 성능을 얼마나 향상시키는가?
• RQ5 이미지 기반 관측과 같은 고차원 상태 공간에서도 지표점 기반 보조목표 생성이 효과적으로 확장될 수 있는가?

주요 결과

• HIGL은 Ant Maze (희박) 환경에서 65.1%의 성공률을 기록하며 동일 조건에서 HRAC의 17.6%를 크게 앞서는 성과를 보였다.
• Ant Maze (U자형, 밀도 높음) 환경에서는 HIGL이 뛰어난 샘플 효율성을 보였으며, 커버리지 기반 지표점은 방문된 영역에 걸쳐 분포하고, 새로운 기반 지표점은 탐색의 가장자리에 집중되어 있었다.
• 커버리지 및 새로운 기반 지표점 샘플링의 조합은 더 넓은 상태공간 커버리지와 더 빠른 수렴을 통해 더 효과적인 탐색을 보여주었다.
• 유망하고 도달 가능한 지표점에 집중함으로써 HIGL은 고수준 정책의 행동 공간을 줄여 더 방향성 있고 효율적인 보조목표 생성을 이끌었다.
• 100만 타임스텝 훈련에 13시간이 소요되었지만(HRAC는 6시간), 특히 희박한 보상 환경에서 샘플 효율성과 성능 향상 덕분에 계획 비용이 정당화되었다.
• 다양한 MuJoCo 기반 장수명 제어 과제에서 HIGL은 강력한 일반화 성능을 보이며 그 견고성과 확장 가능성을 확인했다.