[논문 리뷰] Successor Feature Landmarks for Long-Horizon Goal-Conditioned Reinforcement Learning

Hoang Anh Thi Van, Sungryull Sohn외 3명|arXiv (Cornell University)|2021. 11. 18.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 장기 시간 간격 목표 조절 강화 학습을 위한 Successor Feature Landmarks(SFL) 프레임워크를 제안한다. SFL은 상태의 신선도를 추정하여 탐색을 이끄는 상속 기능(SF)과 비모수적 랜드마크 기반 그래프를 통해 고수준 계획을 가능하게 한다. SFL은 상속 기능 유사도(SFS)로부터 직접 목표 조절 정책을 계산하여 MiniGrid와 ViZDoom에서 최신 기준 성능을 달성하며, 가장 어려운 ViZDoom 테스트에서 85%의 성공률을 기록하여 고차원적이고 장기적인 설정에서 베이스라인을 능가한다.

ABSTRACT

Operating in the real-world often requires agents to learn about a complex environment and apply this understanding to achieve a breadth of goals. This problem, known as goal-conditioned reinforcement learning (GCRL), becomes especially challenging for long-horizon goals. Current methods have tackled this problem by augmenting goal-conditioned policies with graph-based planning algorithms. However, they struggle to scale to large, high-dimensional state spaces and assume access to exploration mechanisms for efficiently collecting training data. In this work, we introduce Successor Feature Landmarks (SFL), a framework for exploring large, high-dimensional environments so as to obtain a policy that is proficient for any goal. SFL leverages the ability of successor features (SF) to capture transition dynamics, using it to drive exploration by estimating state-novelty and to enable high-level planning by abstracting the state-space as a non-parametric landmark-based graph. We further exploit SF to directly compute a goal-conditioned policy for inter-landmark traversal, which we use to execute plans to "frontier" landmarks at the edge of the explored state space. We show in our experiments on MiniGrid and ViZDoom that SFL enables efficient exploration of large, high-dimensional state spaces and outperforms state-of-the-art baselines on long-horizon GCRL tasks.

연구 동기 및 목표

• 큰 고차원 상태 공간에서 장기 시간 간격 목표 조절 강화 학습의 과제를 해결하기 위해.
• 인간의 지시나 균일한 상태공간 생성에 의존하지 않고 효율적인 탐색을 가능하게 하기 위해.
• 상속 기능을 활용한 상태 추상화와 목표 향한 탐색을 위한 스케일러블하고 동적인 그래프 기반 계획 프레임워크를 구축하기 위해.
• 추가 정책 학습이 필요 없도록 상속 기능 유사도에서 직접 목표 조절 정책을 계산함으로써 이를 제거하기 위해.
• 3D 미로와 격자 세계와 같은 복잡한 환경에서 일반화 능력과 확장성을 향상시키기 위해.

제안 방법

• 전이 동역학을 포착하고 새로운 거리 척도인 상속 기능 유사도(SFS)를 정의하기 위해 상속 기능(SF)을 활용한다.
• SFS를 사용하여 탐색 중 새로운 랜드마크를 선택하기 위한 상태의 신선도를 추정하고, 비모수적 랜andom 기반 그래프를 형성한다.
• 노드가 랜드마크이고 간선이 상태 간의 거리 추정치로 SFS 기반인 방향성 그래프를 구성한다.
• 추가 정책 학습이 필요 없도록 SFS에서 직접 유도된 목표 조절 정책을 사용한다.
• 그래프를 사용해 프론티어 랜드마크로의 경로를 계획하고, SFS 기반 정책로 각 세그먼트를 실행한다.
• 탐색 트레이젝터리에서의 전이를 자율적으로 이용하여 그래프와 SF 표현을 업데이트한다.

실험 결과

연구 질문

• RQ1 인간의 지시 없이 고차원적이고 장기적인 환경에서 상속 기능을 사용해 효율적인 탐색을 이끌 수 있는가?
• RQ2 추가 학습 없이 SFS가 목표 조절 정책 계산을 위한 강건하고 학습 가능한 거리 척도로 기능할 수 있는가?
• RQ3 SFS 기반으로 구축된 랜드마크 기반 그래프가 복잡한 환경에서 확장성 있고 효과적인 장기 시간 간격 계획을 가능하게 하는가?
• RQ4 SFL은 장기 시간 간격 과제에서 최신 기준 그래프 기반 및 모델 프리 방법과 비교해 성공률과 샘플 효율성 측면에서 어떻게 성과를 내는가?
• RQ5 SFL은 특히 가장 어려운, 가장 먼 상황에서도 다양한 목표 위치로의 일반화가 가능한가?

주요 결과

• SFL은 가장 어려운 ViZDoom 테스트에서 85%의 성공률을 기록하여, 같은 과제에서 다음으로 좋은 베이스라인(48% for EC+FS+SGM)을 크게 능가한다.
• 가장 어려운 MiniGrid 레벨에서 SFL은 62%의 성공률을 기록하여 모든 아블레이션 베이스라인을 능가하며 먼 목표로의 강력한 일반화 능력을 보여준다.
• 고차원 상태 공간에서 SFL은 뛰어난 샘플 효율성을 보이며, 다른 방법들이 탐색 커버리지가 열악하여 확장성이 떨어지는 환경에서는 실패한다.
• 그래프 구축에 EC가 생성한 트레이젝터리를 사용함으로써 SPTM의 장기 시간 간격 목표 성능이 향상되었으며, 이는 탐색 보너스가 먼 영역의 커버리지를 향상시킨다는 것을 시사한다.
• FS가 생성한 트레이젝터리는 커버리지가 제한되어 있지만, 평가 설정과 분포가 일치하므로 RS 및 EC보다 Easy 및 Medium 난이도에서 성능이 뛰어나다.
• 시각화 결과는 EC 에이전트가 FS보다 더 나은 장거리 상태 커버리지를 달성하는 것으로 확인되었으며, RS는 가장 넓은 지ap 커버리지를 제공함으로써 탐색 전략이 그래프 품질에 미치는 영향을 검증한다.