[논문 리뷰] The Role of Pretrained Representations for the OOD Generalization of RL Agents

Andrea Dittadi, Frederik Träuble외 8명|arXiv (Cornell University)|2021. 07. 12.

Reinforcement Learning in Robotics참고 문헌 63인용 수 4

한 줄 요약

이 논문은 사전 훈련된 변동형 자동차오디터( variational autoencoder, VAE)-기반 표현이 강화학습(RL) 에이전트의 분포 외 일반화(out-of-distribution, OOD) 성능을 어떻게 향상시키는지 조사한다. 시뮬레이션 환경에서 240개의 표현과 10,000개의 RL 정책을 대상으로 한 광범위한 실험을 통해, 이러한 표현에서 수행하는 프록시 작업이 하류 OOD 일반화를 신뢰성 있게 예측할 수 있음을 발견하였으며, 이는 도메인 간 이행이 어려운 상황에서도 견고한 에이전트를 효율적으로 선별할 수 있도록 한다.

ABSTRACT

Building sample-efficient agents that generalize out-of-distribution (OOD) in real-world settings remains a fundamental unsolved problem on the path towards achieving higher-level cognition. One particularly promising approach is to begin with low-dimensional, pretrained representations of our world, which should facilitate efficient downstream learning and generalization. By training 240 representations and over 10,000 reinforcement learning (RL) policies on a simulated robotic setup, we evaluate to what extent different properties of pretrained VAE-based representations affect the OOD generalization of downstream agents. We observe that many agents are surprisingly robust to realistic distribution shifts, including the challenging sim-to-real case. In addition, we find that the generalization performance of a simple downstream proxy task reliably predicts the generalization performance of our RL agents under a wide range of OOD settings. Such proxy tasks can thus be used to select pretrained representations that will lead to agents that generalize.

연구 동기 및 목표

• 사전 훈련된 표현이 RL 에이전트의 분포 외(OOD) 일반화 성능에 어떻게 기여하는지 조사하기 위해.
• 다양한 VAE 기반 표현 특성들이 분포 이탈 상황에서 하류 RL 정책 성능에 미치는 영향을 평가하기 위해.
• 간단한 프록시 작업이 RL 에이전트의 OOD 일반화 능력을 신뢰성 있게 예측할 수 있는지 확인하기 위해.
• 실세계 유사 환경에서 견고하고 샘플 효율적인 RL 에이전트를 만드는 데 기여하는 표현 특성들을 특정하기 위해.

제안 방법

• 로봇 환경의 시뮬레이션 환경에서 240개의 서로 다른 VAE 기반 표현을 훈련하여 다양한 세계 표현을 포괄하기 위해.
• 각 표현 위에 10,000개 이상의 RL 정책을 훈련시켜 OOD 설정 하에서의 하류 일반화 성능를 평가하기 위해.
• 프록시 작업을 사용하여 표현 품질을 단순한 비-RL 하류 작업에서 평가함으로써, RL 에이전트의 OOD 일반화 성능를 예측하기 위해.
• 시뮬레이션에서 실제 환경으로의 이행, 관측 공간의 분포 이탈, 액션 공간의 변형 등 다양한 OOD 설정에서 일반화 성능를 평가하기 위해.
• 다양한 표현 유형 간에 프록시 작업 성능와 실제 RL 에이전트 성능 간의 상관관계를 분석하기 위해.

실험 결과

연구 질문

• RQ1 사전 훈련된 VAE 기반 표현이 얼마나 효과적으로 RL 에이전트의 OOD 일반화 성능를 향상시키는가?
• RQ2 간단한 프록시 작업이 다양한 표현을 기반으로 훈련된 RL 에이전트의 OOD 일반화 성능를 정확하게 예측할 수 있는가?
• RQ3 사전 훈련된 표현의 어떤 특성이 하류 RL 정책에서 견고한 OOD 일반화 성능를 가장 강하게 예측하는가?
• RQ4 표현 품질이 시뮬레이션에서 실제 환경으로의 분포 이탈 상황에서 샘플 효율성과 견고성에 어떻게 영향을 미치는가?

주요 결과

• 사전 훈련된 표현을 기반으로 훈련된 많은 RL 에이전트는 도메인 적응을 명시적으로 수행하지 않더라도, 현실적인 분포 이탈, 특히 시뮬레이션에서 실제 환경으로의 이행에 대해 강력한 견고성을 보였다.
• 표현에서 수행하는 단순한 하류 프록시 작업 성능가, 다양한 OOD 설정에서 해당 RL 에이전트의 OOD 일반화 성능를 강력하게 예측할 수 있었다.
• 프록시 작업에서 뛰어난 성능를 보이는 표현은 항상 뛰어난 일반화 성능를 보이는 RL 에이전트를 생성하였으며, 이는 높은 성능의 표현을 효율적으로 선별할 수 있음을 시사한다.
• 세부 조정 없이도 사전 훈련된 표현은 샘플 효율성과 OOD 일반화 성능를 크게 향상시켰으며, 이는 실세계 RL에 대한 유용한 인덕티브 바이어스로 기능할 수 있음을 시사한다.