[논문 리뷰] Efficient Hierarchical Exploration with Stable Subgoal Representation Learning.

Siyuan Li, Jin Zhang외 2명|arXiv (Cornell University)|2021. 05. 31.

Reinforcement Learning in Robotics참고 문헌 47인용 수 4

한 줄 요약

이 논문은 계층 강화 학습에서 안정적인 하위목표 표현 학습 방법을 제안하며, 잘 탐색된 영역에서는 표현을 안정화하고 미탐색 영역에서는 업데이트를 허용하기 위해 상태 기반 정규화를 사용한다. 안정된 표현을 바탕으로, 이 방법은 새로운 하위목표와 잠재력 기반의 하위목표 선택을 도입하여, 기존 최고 수준의 기준 대비 희박 보상이 주어지는 연속 제어 과제에서 탐색 효율성과 성능을 크게 향상시킨다.

ABSTRACT

Goal-conditioned hierarchical reinforcement learning (HRL) serves as a successful approach to solving complex and temporally extended tasks. Recently, its success has been extended to more general settings by concurrently learning hierarchical policies and subgoal representations. However, online subgoal representation learning exacerbates the non-stationary issue of HRL and introduces challenges for exploration in high-level policy learning. In this paper, we propose a state-specific regularization that stabilizes subgoal embeddings in well-explored areas while allowing representation updates in less explored state regions. Benefiting from this stable representation, we design measures of novelty and potential for subgoals, and develop an efficient hierarchical exploration strategy that actively seeks out new promising subgoals and states. Experimental results show that our method significantly outperforms state-of-the-art baselines in continuous control tasks with sparse rewards and further demonstrate the stability and efficiency of the subgoal representation learning of this work, which promotes superior policy learning.

연구 동기 및 목표

• 계층 강화 학습 내 온라인 하위목표 표현 학습에서 발생하는 비정적성과 탐색 과제를 해결하기 위해.
• 자주 방문하는 상태 영역에서 하위목표 표현을 안정화하면서도, 미탐색 영역에서는 동적 업데이트를 허용하기 위해.
• 표현 안정성을 활용하여 새로운 유망한 하위목표를 능동적으로 식별하는 효율적인 계층 탐색 전략을 개발하기 위해.
• 희박 보상이 주어지는 복잡한 시간적으로 연장된 과제에서 정책 학습 성능을 향상시키기 위해.

제안 방법

• 상태 방문 빈도에 기반하여 하위목표 표현 업데이트를 제약하는 상태 기반 정규화 기법을 도입한다.
• 정규화된 하위목표 표현을 사용하여 하위목표의 신선도와 잠재력을 계산하고, 이를 통해 미탐색이지만 유망한 영역으로의 탐색을 이끈다.
• 고수준 정책이 하위목표의 신선도와 잠재력에 기반하여 하위목표를 선택하고, 저수준 정책이 이를 향해 행동을 실행하는 계층 강화 학습 프레임워크를 활용한다.
• 자주 방문하는 상태에서 표현을 안정화시켜 분포 이탈을 줄이고 학습 안정성을 향상시킨다.
• 하위목표 표현의 안정성을 활용하여 의미 있는 내재 보상 함수를 정의하여 하위목표 선택에 활용한다.
• 높은 잠재력과 높은 신선도를 가진 하위목표를 우선순위로 삼는 새로운 탐색 전략을 설계하여 상태 공간의 효율적 커버리지가 가능하도록 한다.

실험 결과

연구 질문

• RQ1 계층 강화 학습 내 온라인 학습 중 하위목표 표현 학습을 어떻게 안정화할 수 있는가?
• RQ2 표현 안정성이 고차원적이고 희박 보상이 주어지는 환경에서 탐색 효율성을 향상시키는 데 어떤 역할을 하는가?
• RQ3 안정된 하위목표 표현에 기반한 신선도와 잠재력 지표가 계층 탐색을 효과적으로 이끌 수 있는가?
• RQ4 제안된 방법은 복잡한 제어 과제에서 샘플 효율성과 최종 성능 측면에서 최고 수준의 기준 대비 어떻게 비교되는가?

주요 결과

• 제안된 방법은 희박 보상이 주어지는 연속 제어 과제에서 최고 수준의 기준 대비 뚜렷한 성능 향상을 달성한다.
• 안정된 하위목표 표현 학습은 온라인 학습 중 분포 이탈을 줄이고 학습 안정성을 향상시킨다.
• 신선도와 잠재력 기반의 하위목표 선택 전략은 더 효율적인 탐색을 가능하게 하여 상태 공간의 더 넓은 부분을 커버한다.
• 이 방법은 뛰어난 샘플 효율성을 보이며, 더 적은 환경 상호작용으로 더 높은 수익을 달성한다.
• 제거 실험 결과는 상태 기반 정규화가 안정된 표현을 유지하고 최종 정책 성능을 향상시키는 데 필수적임을 확인한다.
• 실험 결과는 안정된 표현이 더 신뢰할 수 있고 효과적인 하위목표 발견을 이끌어내어 전체 정책 학습을 향상시킨다는 점을 보여준다.