[논문 리뷰] Value Function Spaces: Skill-Centric State Abstractions for Long-Horizon Reasoning

Dhruv Shah, Peng Xu외 5명|arXiv (Cornell University)|2021. 11. 04.

Reinforcement Learning in Robotics인용 수 9

한 줄 요약

이 논문은 가치 함수를 사용하여 저수준 스킬의 가치 함수를 활용해 환경을 압축적이고 불변의 표현으로 만드는 스킬 중심의 상태 추상화인 가치 함수 공간(Value Function Spaces, VFS)을 제안한다. 스킬의 가능성을 기반으로 상태를 인코딩함으로써 VFS는 장기적 보상 학습 성능을 향상시키고 강력한 제로샷 일반화를 가능하게 하여, 미로 해결 및 로봇 조작 작업에서 대조적 및 정보 이론 기반 방법들을 능가한다.

ABSTRACT

Reinforcement learning can train policies that effectively perform complex tasks. However for long-horizon tasks, the performance of these methods degrades with horizon, often necessitating reasoning over and chaining lower-level skills. Hierarchical reinforcement learning aims to enable this by providing a bank of low-level skills as action abstractions. Hierarchies can further improve on this by abstracting the space states as well. We posit that a suitable state abstraction should depend on the capabilities of the available lower-level policies. We propose Value Function Spaces: a simple approach that produces such a representation by using the value functions corresponding to each lower-level skill. These value functions capture the affordances of the scene, thus forming a representation that compactly abstracts task relevant information and robustly ignores distractors. Empirical evaluations for maze-solving and robotic manipulation tasks demonstrate that our approach improves long-horizon performance and enables better zero-shot generalization than alternative model-free and model-based methods.

연구 동기 및 목표

• 풍부한 관측을 포함한 장기적 보상 학습을 위한 계층적 강화 학습(Hierarchical Reinforcement Learning, HRL)에서 상태 추상화의 과제를 해결하기 위해.
• 사용 가능한 스킬의 기능적 상태 등가성을 유지하면서도, 잡음이나 외부 요인에 대해 불변인 상태 표현을 개발하기 위해.
• 기능적, 스킬 인식 임베딩 공간을 구성함으로써 고수준 정책의 더 나은 일반화 및 계획을 가능하게 하기 위해.
• 저수준 스킬의 가치 함수가 고수준 계획을 위한 효과적이고 압축적이며 강건한 표현으로 기능할 수 있음을 입증하기 위해.
• 복잡한 환경에서 모델 자유형 및 모델 기반 고수준 정책 모두와의 호환성을 보여주기 위해.

제안 방법

• VFS는 주어진 관측에 대해 사용 가능한 모든 저수준 스킬의 가치 함수를 연결하여 상태 표현을 구성한다.
• 가치 함수는 각 스킬의 예상 수익을 캡처하여 현재 상태에서의 가능성과 사전 조건을 기록한다.
• 이 표현은 물체 색상, 배경 질감, 팔 자세와 같은 작업에 무관한 요소에 대해 불변이며, 동시에 기능적 상태 등가성을 유지한다.
• 기존의 HRL 파이프라인에 수정 없이 모델 자유형 및 모델 기반 계획 모두와 호환된다.
• 가치 함수의 내재적 성질을 활용하여 가능한 스킬 결과와 완료된 스킬 결과를 통합된 임베딩 공간에서 모델링한다.
• 표현은 학습 중에 엔드 투 엔드로 학습되며, 고수준 정책의 의사결정을 위한 입력으로 사용된다.

실험 결과

연구 질문

• RQ1 저수준 스킬의 가치 함수가 가능성을 캡처하고 잡음을 무시하는 기능적, 스킬 중심의 상태 표현으로 기능할 수 있는가?
• RQ2 스킬 가치 함수에서 유도된 표현이 복잡한 환경에서 장기적 보상 작업 성능을 향상시키는가?
• RQ3 VFS는 미세조정 없이도 새로운 환경으로의 제로샷 일반화를 가능하게 하는가?
• RQ4 계획 효율성과 성공률 측면에서 VFS는 대조적 및 정보 이론 기반 표현 학습 방법보다 어떻게 비교되는가?
• RQ5 VFS 표현은 모델 자유형 및 모델 기반 고수준 정책 모두와 호환되는가?

주요 결과

• O5 로봇 조작 작업에서 VFS는 오라클 성능을 정확히 따라 100% 성공률을 달성했으며, 모든 베이스라인을 능가했다.
• 더 어려운 O10 작업에서 VFS는 80% 성공률을 기록했으며, 오라클의 85% 성능에 매우 가까이 접근했다.
• VAE 및 CPC 표현은 O10 설정에서 각각 30%와 40% 성공률로 급격히 성능이 떨어졌고, VFS는 이에 크게 앞서갔다.
• VFS 임베딩의 t-SNE 시각화 결과에서 로봇이 다양한 물체를 들고 있는 기능적 상태에 해당하는 명확한 클러스터가 나타났으며, 팔 자세나 배경 변화와 같은 무관한 변형은 간과되었다.
• VFS는 재학습 없이도 새로운 환경으로의 강력한 제로샷 일반화를 보였다.
• 이 방법은 모델 자유형 및 모델 기반 계획 설정 모두에서 효과적이었으며, 기존 HRL 프레임워크와 넓은 호환성을 보였다.