[논문 리뷰] Single Episode Policy Transfer in Reinforcement Learning

Jiachen Yang, Brenden K. Petersen외 2명|arXiv (Cornell University)|2019. 10. 17.

Reinforcement Learning in Robotics참고 문헌 41인용 수 21

한 줄 요약

이 논문은 보상 정보가 테스트 시점에 제공되지 않는 단일 테스트 에피소드에서 near-optimal 제어를 위한 Single Episode Policy Transfer (SEPT)를 제안한다. 이 방법은 테스트 시점에 보상을 접근할 수 없으며, 초기 단계에서 잠재 동역학을 신속하게 추정하기 위해 프로브 정책과 추론 모델을 사용한다. 이를 통해 보편적 정책을 즉각적으로 배포할 수 있으며, 고차원적이고 비연속적이며 연속적인 동역학 환경에서 기존의 기준 대비 뛰어난 성능과 속도를 달성한다.

ABSTRACT

Transfer and adaptation to new unknown environmental dynamics is a key challenge for reinforcement learning (RL). An even greater challenge is performing near-optimally in a single attempt at test time, possibly without access to dense rewards, which is not addressed by current methods that require multiple experience rollouts for adaptation. To achieve single episode transfer in a family of environments with related dynamics, we propose a general algorithm that optimizes a probe and an inference model to rapidly estimate underlying latent variables of test dynamics, which are then immediately used as input to a universal control policy. This modular approach enables integration of state-of-the-art algorithms for variational inference or RL. Moreover, our approach does not require access to rewards at test time, allowing it to perform in settings where existing adaptive approaches cannot. In diverse experimental domains with a single episode test constraint, our method significantly outperforms existing adaptive approaches and shows favorable performance against baselines for robust transfer.

연구 동기 및 목표

• 알 수 없는, 변동성이 있는 동역학 조건에서 단일 테스트 에피소드에서 near-optimal 성능를 달성하는 데 도전하는 것.
• 테스트 시점에 보상이 접근 불가능하거나 지연되는 환경에서 전이를 가능하게 하는 것.
• 실시간 응용 프로그램에서 일반적인 엄격한 시간 및 계산 제약 조건 하에서 작동하는 방법을 개발하는 것.
• 유추된 잠재 변수에 조건이 붙은 보편적 정책을 사용하여 강건한 전이와 적응 기반 전이를 통합하는 것.
• 밀도 높은 보상이나 테스트 시점에 여러 번의 롤아웃이 필요 없이도 기존의 RL 및 변동형 추론 워크플로우와 호환되도록 보장하는 것.

제안 방법

• 새로운 테스트 에피소드의 초기 단계에서 초기 궤적 데이터를 수집하기 위해 프로브 정책을 훈련한다.
• 관측된 궤적에서 잠재 변수를 추정하기 위해 추론 모델(예: 변동형 오토인코더)을 사용하여 알려지지 않은 동역학을 나타내는 잠재 변수를 추정한다. 이는 에피소드의 소수의 비율(예: 5%)만을 사용한다.
• 유추된 잠재 변수를 사전에 훈련된 보편적 제어 정책의 입력으로 사용하여 즉각적인 배포를 가능하게 한다.
• 관측된 궤적에서 잠재 동역학의 분리된 표현을 학습하기 위해 변동형 추론을 활용한다.
• 프로브 및 추론 모델은 훈련 중에 공동 최적화되어 신속하고 정확한 잠재 변수 추정을 보장한다.
• 테스트 시점에 보편적 정책는 고정되어 있으며, 추가적인 미세조정이나 기울기 업데이트가 필요하지 않다.

실험 결과

연구 질문

• RQ1 동역학이 알려져 있지 않고 보상이 접근 불가능한 상황에서 강화학습 에이전트가 단일 테스트 에피소드에서 near-optimal 성능를 달성할 수 있는가?
• RQ2 최소한의 초기 상태 관측치에서 어떻게 신속하게 잠재 동역학을 추론하여 즉각적인 정책 배포를 가능하게 할 수 있는가?
• RQ3 프로브, 추론, 보편적 정책를 조합한 모듈러한 접근 방식이 기존의 적응 또는 메타학습 방법보다 단일 에피소드 환경에서 더 우수한 성능를 보일 수 있는가?
• RQ4 프로브 길이와 잠재 변수의 차원 수에 따라 이 방법이 얼마나 강인한가?
• RQ5 이 방법은 고차원 MDP에서 연속적이고 비연속적인 동역학 모두에 일반화 가능한가?

주요 결과

• SEPT는 모든 벤치마크 도메인에서 누적 보상과 계산 속도 면에서 최신 기반 모델(Killian et al., 2017)을 크게 능가했다.
• 비연속적인 동역학이 존재하는 2D 내비게이션 환경에서, SEPT는 DPT 및 기타 기준 모델보다 더 높은 누적 보상을 달성했으며, 이는 최적의 프로브 길이가 아닐 경우에도 마찬가지였다.
• SEPT는 프로브 길이와 잠재 차원 수의 변화에 대해 강인한 성능를 유지했으며, 하이퍼파rameter가 최적일 필요 없이도 강력한 결과를 보였다.
• 테스트 시점에 보상이 제공되지 않는 환경에서, SEPT는 MAML와 같은 최적화 기반 메타학습 방법보다 뛰어난 성능를 보였다.
• 2D 내비게이션 환경에서는 프로브 단계가 빠른 해결에 필수적이었으며, Acrobot에서는 기준 모델과 유사한 성능를 보였고, HIV에서는 더 뛰어난 성능를 보여, 다양한 동역학에 적응 가능함을 입증했다.
• SEPT는 강건한 전이 기준 모델과 비교했을 때 유리한 성능를 보였으며, 특히 잠재 변수의 동역학에 큰 비연속적 영향을 미치는 환경에서 뚜렷한 우월성을 보였다.