[논문 리뷰] Fast Adaptation via Policy-Dynamics Value Functions

Roberta Răileanu, Max A. Goldstein외 2명|arXiv (Cornell University)|2020. 07. 06.

Reinforcement Learning in Robotics참고 문헌 56인용 수 9

한 줄 요약

이 논문은 오프라인 트레이젝터리에서 정책과 환경의 임베딩을 학습함으로써 강화학습에서 새로운 환경 동역학에 빠르게 적응할 수 있는 방법인 정책-다이내믹스 가치 함수(PD-VF)를 제안한다. 이러한 임베딩에 조건부로 설정된 가치 함수를 통해 몇 차례의 환경 상호작용만으로도 빠른 정책 선택이 가능하며, 새로운 동역학을 가진 MuJoCo 연속 제어 과제에서 메타학습 및 전이학습 기반 방법들을 능가한다.

ABSTRACT

Standard RL algorithms assume fixed environment dynamics and require a significant amount of interaction to adapt to new environments. We introduce Policy-Dynamics Value Functions (PD-VF), a novel approach for rapidly adapting to dynamics different from those previously seen in training. PD-VF explicitly estimates the cumulative reward in a space of policies and environments. An ensemble of conventional RL policies is used to gather experience on training environments, from which embeddings of both policies and environments can be learned. Then, a value function conditioned on both embeddings is trained. At test time, a few actions are sufficient to infer the environment embedding, enabling a policy to be selected by maximizing the learned value function (which requires no additional environment interaction). We show that our method can rapidly adapt to new dynamics on a set of MuJoCo domains. Code available at https://github.com/rraileanu/policy-dynamics-value-functions.

연구 동기 및 목표

• 학습 동역학과 다를 경우 빠른 적응이 어려운 강화학습의 과제를 해결하기 위해.
• 특정 환경의 특수성에 과적합되어 소규모 변형에 일반화하지 못하는 표준 강화학습 에이전트의 한계를 극복하기 위해.
• 추가적인 환경 상호작용 없이도 새로운 환경에서 빠른 정책 선택을 가능하게 하기 위해.
• 다양한 동역학에서 정책, 환경 동역학, 기대 수익 간의 관계를 모델링하는 가치 함수를 학습하기 위해.
• 복잡한 제어 과제에서 연속적이고 이산적인 동역학 변화에 대해 일반화할 수 있는 프레임워크를 개발하기 위해.

제안 방법

• 다양한 훈련 환경에서 표준 강화학습 정책을 훈련시켜 트레이젝터리를 생성한다.
• 이 트레이젝터리에서 자기지도 학습을 통해 정책 행동과 환경 동역학을 낮은 차원의 표현으로 함께 임bedding한다.
• 초기 상태, 정책 임베딩, 환경 임베딩을 입력으로 사용하고, 실제 누적 수익을 타겟으로 하여 지도 학습 방식으로 가치 함수를 훈련시킨다.
• 테스트 시, 첫 번째 몇 차례의 환경 상호작용만으로 환경 임베딩을 추론한다.
• 추가적인 환경 상호작용 없이도 정책 임베딩을 기반으로 학습된 가치 함수를 최대화하여 최적의 정책을 선택한다.
• 선택된 정책을 사용하여 새로운 환경에서 행동함으로써, 낮은 샘플 복잡도로 빠른 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 정책 및 환경 임베딩에 조건부로 설정된 가치 함수는 연속 제어 과제에서 새로운 환경 동역학에 대해 빠른 적응을 가능하게 하는가?
• RQ2 표준 메타학습 및 전이학습 방법과 비교해 PD-VF는 새로운 동역학에 얼마나 잘 일반화되는가?
• RQ3 몇 차례의 환경 상호작용만으로도 환경 임베딩을 추론하고 높은 성능의 정책을 선택하는 데에 얼마나 충분한가?
• RQ4 최적의 정책 외에도 비최적의 정책을 함께 모델링하면 동역학 간 일반화 성능이 향상되는가?
• RQ5 학습된 정책-동역학 임베딩 공간은 행동과 환경 동역학 간의 의미 있는 구조를 잘 포착하는가?

주요 결과

• PD-VF는 새로운 동역학을 가진 MuJoCo 환경에서 메타학습 및 전이학습 기반 방법들을 크게 능가하며, 특히 초기 적응 단계에서 두각을 나타낸다.
• 스위머 도메인에서 PD-VF는 마지막 환경(E10)에서 평균 수익 203.95를 기록했으며, 다음으로 좋은 방법보다 30점 이상 높은 성능을 보였다.
• 스페이스십 도메인에서 PD-VF는 E10에서 수익 196.18를 달성하여 다양한 동역학에 걸쳐 강력한 일반화 능력을 보였다.
• 매우 적은 환경 상호작용으로도 높은 성능을 달성함—단지 몇 번의 단계만으로도 새로운 환경을 임베딩하고 정책을 선택할 수 있었다.
• 정책-동역학 임베딩에 기반한 가치 함수는 연속적이고 이산적인 동역학 변화 모두에 대해 일반화되며, 변형에 대해 뛰어난 내구성을 보였다.
• PD-VF는 전면 롤아웃 없이도 정책 순위를 정확히 매길 수 있었으며, 낮은 피드백 환경이나 고비용 환경에서의 신속한 추론 및 구현을 가능하게 했다.