[논문 리뷰] Environment Probing Interaction Policies

Wenxuan Zhou, Lerrel Pinto외 1명|arXiv (Cornell University)|2019. 07. 26.

Reinforcement Learning in Robotics인용 수 33

한 줄 요약

논문은 Environment-Probing Interaction (EPI) 정책을 도입하여 먼저 새로운 환경을 탐색해 환경 임베딩을 추출하고, 이를 작업 특화 정책이 일반화 향상을 위해 사용한다. EPI 학습은 probing 정책을 최적화하기 위한 transition-prediction 기반 보상을 사용한다.

ABSTRACT

A key challenge in reinforcement learning (RL) is environment generalization: a policy trained to solve a task in one environment often fails to solve the same task in a slightly different test environment. A common approach to improve inter-environment transfer is to learn policies that are invariant to the distribution of testing environments. However, we argue that instead of being invariant, the policy should identify the specific nuances of an environment and exploit them to achieve better performance. In this work, we propose the 'Environment-Probing' Interaction (EPI) policy, a policy that probes a new environment to extract an implicit understanding of that environment's behavior. Once this environment-specific information is obtained, it is used as an additional input to a task-specific policy that can now perform environment-conditioned actions to solve a task. To learn these EPI-policies, we present a reward function based on transition predictability. Specifically, a higher reward is given if the trajectory generated by the EPI-policy can be used to better predict transitions. We experimentally show that EPI-conditioned task-specific policies significantly outperform commonly used policy generalization methods on novel testing environments.

연구 동기 및 목표

• RL에서 불변 정책과 명시적 시스템 식별을 넘어 환경 일반화를 동기부여하고 해결한다.
• 환경 정보를 추출하기 위한 별도의 환경 탐색 정책(EPI-policy)을 제안한다.
• probing 상호작용에서 환경 임베딩을 학습하고 이 임베딩으로 작업 정책을 조건화한다.
• EPI-조건부 정책이 새로운 OpenAI Gym MuJoCo 작업에서 표준 베이스라인보다 뛰어남을 보인다.

제안 방법

• 환경 탐색 상호작용 정책(EPI 정책)과 작업 특화 정책의 두 가지 정책 정의.
• 전이 예측기 학습: 일반 예측기 f(s,a)->s' 와 EPI-조건부 예측기 f_epi(s,a; psi(tau_epi)); psi(tau_epi)는 EPI 궤적의 임베딩이다.
• 보상 R_p(pi_epi) 를 E[ L_epi_pred - L_pred ] 와 같게 사용하여 환경 전이 예측을 개선하는 궤적을 촉진한다.
• Vine 방법으로 교대 학습 데이터와 선택적 분리 손실을 사용하여 EPI 정책과 예측기의 학습을 교대(interleaved)한다.
• 학습 후 EPI를 실행해 환경 임베딩을 얻고, 이 임베딩으로 작업 정책 pi_task 를 조건화한 뒤 TRPO로 pi_task 를 학습한다.
• Hopper와 Striker에서 무작위화된 환경 매개변수(질량, 댐핑, 마찰)로 평가한다.
• Simple, Invariant, Oracle, Random/History/Recurrent/System-Id/Direct Reward 정책 등 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 환경 탐색 정책이 정보적이고 저차원의 환경 임베딩을 추출해 별도 작업 정책이 미지의 환경으로 일반화하는 데 도움이 되는가?
• RQ2 탐색 궤적에 대한 예측 기반 보상이 이 목적으로 호기심 기반 혹은 무작위 탐색보다 더 나은 추진력인가?
• RQ3 새로운 환경에서 EPI-조건부 정책은 일반적 접근법(도메인 무작위화, 시스템 식별, 순환 정책)에 비해 어떻게 비교되는가?

주요 결과

METHOD	Hopper: Reward (↑)	Striker: Final Distance (↓)
Simple Policy	414±313	1.660±2.010
Invariant Policy	1025±49	0.297±0.068
Random Interaction Policy	1101±27	0.410±0.047
History Policy	1143±156	0.259±0.038
Recurrent Policy	917±180	0.418±0.051
System Id Policy	1033±81	1.113±0.106
Direct Reward	1057±310	0.458±0.004
Ours | EPI + Task-specific Policy	1303±173	0.162±0.015
Ablations | No Vine Data	1214±138	0.293±0.018
Ablations | No Regularization	1203±397	0.308±0.019
Ablations | No Vine and No Regularization	1237±78	0.324±0.057
Oracle | Oracle Policy	1474±205	0.133±0.034

• EPI-조건부 작업 정책은 미지의 테스트 환경(Hopper 및 Striker)에서 표준 베이스라인보다 뛰어나다.
• Hopper에서 EPI는 1303±173 보상으로, 베이스라인보다 최소 14.0% 우수하다.
• Striker에서 EPI는 0.162±0.015 최종 거리로, 베이스라인보다 최소 37.5% 더 정확하다.
• EPI 임베딩은 환경 매개변수와 상관관계가 있어 방법이 환경 유발 전이 차이를 분리한다는 것을 시사한다.
• 약화 테스트는 Vine 데이터와 규제(regularization)로 성능이 향상되고, 없으면 대부분의 베이스라인을 이기지만 이득이 감소한다.
• Oracle 정책(전체 환경 매개변수)은 여전히 상한으로 남는다(1474±205 보상; 0.133±0.034 거리).