[논문 리뷰] World Model as a Graph: Learning Latent Landmarks for Planning

Lunjun Zhang, Ge Yang외 1명|arXiv (Cornell University)|2020. 11. 25.

Reinforcement Learning in Robotics참고 문헌 51인용 수 22

한 줄 요약

이 논문은 연속 제어 환경에서 확장 가능하고 장기 예측 계획을 가능하게 하기 위해 잠재적 지표점(latent landmarks)을 사용하여 그래프 구조의 세계 모델을 학습하는 $L^{3}P$를 제안한다. 도달 가능성에 기반한 잠재 목표를 군집화하고, 동적 재계획을 수행하는 견고한 그래프 탐색 계획자(플래너)를 사용함으로써, 이전의 모델 기반 및 계층적 강화학습 접근법에 비해 더 높은 샘플 효율성과 성능을 달성한다.

ABSTRACT

Planning - the ability to analyze the structure of a problem in the large and decompose it into interrelated subproblems - is a hallmark of human intelligence. While deep reinforcement learning (RL) has shown great promise for solving relatively straightforward control tasks, it remains an open problem how to best incorporate planning into existing deep RL paradigms to handle increasingly complex environments. One prominent framework, Model-Based RL, learns a world model and plans using step-by-step virtual rollouts. This type of world model quickly diverges from reality when the planning horizon increases, thus struggling at long-horizon planning. How can we learn world models that endow agents with the ability to do temporally extended reasoning? In this work, we propose to learn graph-structured world models composed of sparse, multi-step transitions. We devise a novel algorithm to learn latent landmarks that are scattered (in terms of reachability) across the goal space as the nodes on the graph. In this same graph, the edges are the reachability estimates distilled from Q-functions. On a variety of high-dimensional continuous control tasks ranging from robotic manipulation to navigation, we demonstrate that our method, named L3P, significantly outperforms prior work, and is oftentimes the only method capable of leveraging both the robustness of model-free RL and generalization of graph-search algorithms. We believe our work is an important step towards scalable planning in reinforcement learning.

연구 동기 및 목표

• 모델 기반 강화학습이 모델 발산으로 인해 실패하는 고차원 연속 제어 환경에서 장기 예측 계획의 과제를 해결하기 위해.
• 학습 가능한 세계 모델을 통해 모델 자유형 강화학습의 견고성과 그래프 탐색 계획의 일반화 능력을 결합하기 위해.
• 고정되거나 히우리스틱 기반 상태 대신 잠재 공간에서 희소하고 도달 가능성에 민감한 지표점을 학습하여 계획의 탐색 공간을 줄이기 위해.
• 필요한 경우에만 동적으로 재계획을 수행하고 간선 가중치에 소프트 리laxation을 적용하여 샘플 효율성과 계획의 견고성을 향상시키기 위해.

제안 방법

• 시간적 거리가 대조 손실을 통해 인코딩된 도달 가능성에 기반한 잠재 공간에서 목표를 군집화하여 학습된 잠재적 지표점을 도출한다.
• 그래프의 간선은 Q-함수에서 추출된 도달 가능성 추정치를 바탕으로 정의되며, 노이즈 또는 정확도가 떨어지는 추정치에 대한 견고성을 향상시키기 위해 소프트 리laxation(소프트맥스)을 적용한다.
• 새로운 온라인 플래너는 그래프를 사용하여 시간적으로 추상화된 추론을 수행하며, 필요할 경우에만 재계획을 수행하고 이전 지표점을 제거하여 갇힘을 방지한다.
• 이 방법은 적응성과 일관성을 균형 잡는 동적 재계획 전략을 사용하여 매 시간 단계마다 반복적인 계획을 방지한다.
• 간선 가중치를 클리핑하기 위해 하이퍼파rameter $d_{\text{max}}$를 사용하여 그래프 탐색 중에 지역적으로 신뢰할 수 있는 전이만 고려하도록 보장한다.
• 지표점의 수는 조정 가능한 하이퍼파rameter이지만, 학습된 지표점의 자기 희소 분포 덕분에 $L^{3}P$는 다양한 값에 대해 견고하게 유지된다.

실험 결과

연구 질문

• RQ1 학습된 그래프 구조의 세계 모델과 잠재적 지표점을 사용할 경우, 전통적인 모델 기반 강화학습보다 장기 예측 연속 제어 작업에서 성능이 뛰어나게 되는가?
• RQ2 도달 가능성에 기반한 잠재 클러스터링을 사용할 경우, 계획의 확장성과 샘플 효율성이 어떻게 향상되는가?
• RQ3 그래프 간선의 노이즈 또는 정확도가 떨어지는 도달 가능성 추정치에 대해 $L^{3}P$ 플래너는 어느 정도 견고한가?
• RQ4 매 단계에서 간단한 재계획을 수행하는 것과 비교해 볼 때, $L^{3}P$의 동적 재계획 전략은 성능 및 안정성 측면에서 어떻게 다른가?
• RQ5 제한된 경험 데이터로 훈련된 후, $L^{3}P$는 더 긴 예측 수준과 예측되지 않은 환경으로 일반화 가능한가?

주요 결과

• $L^{3}P$는 AntMaze-Hard를 포함한 도전적인 로봇 탐색 및 조작 작업에서 이전의 모델 기반 및 계층적 강화학습 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 특히 장기 예측 계획 시나리오에서 기준선 방법에 비해 더 높은 점근적 성능과 더 나은 샘플 효율성을 달성했다.
• 절단 실험 결과, $L^{3}P$ 플래너가 성공의 핵심 요소임을 입증하였으며, 매 단계에서 최단 경로를 다시 계산하는 단순한 플래너보다 뛰어난 성능을 보였다.
• 지표점의 수 변화에 대해 알고리즘이 견고함을 입증하였으며, 학습 과정이 목표 공간 전역에 걸쳐 자연스럽게 지표점을 분포시켜 커버리지 유지에 기여한다.
• 간선 가중치에 하드 맥스 대신 소프트맥스를 사용함으로써, 특히 일부 나쁜 간선이 존재할 경우 정확도가 떨어지는 추정치에 대한 견고성이 향상됨을 확인하였다.
• 이 방법은 더 긴 예측 수준으로 일반화되며, 다른 방법이 실패하는 상황에서도 뛰어난 성능을 보여, 그래프 기반 계획을 통한 효과적인 시간 추상화를 입증한다.