[논문 리뷰] Pre-Trained Image Encoder for Generalizable Visual Reinforcement Learning

Zhecheng Yuan, Zhengrong Xue외 5명|arXiv (Cornell University)|2022. 12. 17.

Domain Adaptation and Few-Shot Learning인용 수 13

한 줄 요약

이 논문은 ImageNet 미리 훈련된 ResNet 인코더의 오프더쇼프 초기층 특징을 활용하여, 새로운 시각적 환경으로의 강력한 제로샷 일반화를 달성하는 시각적 강화학습 프레임워크인 PIE-G를 제안한다. 인코더를 고정하고 지속 업데이트되는 배치 정규화(BatchNorm)를 사용함으로써, 도전적인 DMControl 일반화 벤치마크에서 이전 최고 성능(SOTA) 대비 평균 55%의 일반화 성능 향상을 달성한다. 이는 사전 훈련된 표현이 시각적 RL에서 샘플 효율성과 강건성을 크게 향상시킬 수 있음을 보여준다.

ABSTRACT

Learning generalizable policies that can adapt to unseen environments remains challenging in visual Reinforcement Learning (RL). Existing approaches try to acquire a robust representation via diversifying the appearances of in-domain observations for better generalization. Limited by the specific observations of the environment, these methods ignore the possibility of exploring diverse real-world image datasets. In this paper, we investigate how a visual RL agent would benefit from the off-the-shelf visual representations. Surprisingly, we find that the early layers in an ImageNet pre-trained ResNet model could provide rather generalizable representations for visual RL. Hence, we propose Pre-trained Image Encoder for Generalizable visual reinforcement learning (PIE-G), a simple yet effective framework that can generalize to the unseen visual scenarios in a zero-shot manner. Extensive experiments are conducted on DMControl Generalization Benchmark, DMControl Manipulation Tasks, Drawer World, and CARLA to verify the effectiveness of PIE-G. Empirical evidence suggests PIE-G improves sample efficiency and significantly outperforms previous state-of-the-art methods in terms of generalization performance. In particular, PIE-G boasts a 55% generalization performance gain on average in the challenging video background setting. Project Page: https://sites.google.com/view/pie-g/home.

연구 동기 및 목표

• 특정 환경에 과적합되는 시각적 RL 에이전트가 새로운 시각적 시나리오로의 일반화에 실패하는 문제를 해결하기 위해.
• 오프더쇼프 사전 훈련된 시각적 표현이 환경에 특화된 데이터 없이도 시각적 RL에 대한 일반적인 사전 지식로 기능할 수 있는지 조사하기 위해.
• 사전 훈련된 인코더 내에서 일반화와 샘플 효율성을 극대화하기 위해 가장 적절한 구성 요소—특히 어떤 층과 정규화 전략인지—를 규명하기 위해.
• 다양한 벤치마크, 즉 시뮬레이션된 제어 작업과 현실적인 주행 시뮬레이터를 포함하여 프레임워크의 타당성과 이식 가능성을 검증하기 위해.

제안 방법

• ImageNet 미리 훈련된 ResNet 인코더의 파라미터를 고정하고, 그 초기층 특징을 RL 에이전트의 시각적 표현으로 사용한다.
• 훈련 중에 지속 업데이트되는 배치 정규화(BatchNorm)를 적용하여, 인코더를 미세조정하지 않고도 새로운 데이터 분포에 적응할 수 있도록 한다.
• 사전 훈련된 인코더를 고정된 특징 추출기로 사용함으로써, 환경에 특화된 사전 훈련이나 데이터 증강이 필요 없도록 한다.
• 추출된 특징을 표준 RL 훈련 파이프라인에 통합하여, 시각적 인코더를 고정한 채 정책의 엔드 투 엔드 훈련을 가능하게 한다.
• 다양한 벤치마크에서 제로샷 일반화 프로토콜을 사용하여 성능을 평가하고, 최고 수준의 기존 방법들과 비교한다.
• ImageNet 인코더를 CLIP, Ego4D, MoCo-v2 등 다른 사전 훈련 모델로 교체하여, 방법의 일반화 능력이 다른 사전 훈련된 표현으로도 유지되는지 확인한다.

실험 결과

연구 질문

• RQ1 ImageNet에서 사전 훈련된 오프더쇼프 시각적 표현이 시각적 강화학습에서 제로샷 일반화를 향상시킬 수 있는가?
• RQ2 사전 훈련된 ResNet 인코더의 어떤 층에서 시각적 RL 작업에 가장 일반화 가능한 특징를 얻을 수 있는가?
• RQ3 고정된 통계 대비, 고정된 인코더에서 지속 업데이트되는 배치 정규화(BatchNorm)를 사용할 경우 일반화 성능이 향상되는가?
• RQ4 환경에 특화된 사전 훈련이나 데이터 증강이 필요한 방법과 비교해, 사전 훈련된 인코더의 성능는 어떻게 되는가?
• RQ5 제안된 프레임워크는 시뮬레이션된 제어 작업과 현실적인 자율 주행 시뮬레이터를 포함한 다양한 벤치마크에서 일반화 가능한가?

주요 결과

• PIE-G는 DMControl 일반화 벤치마크의 가장 도전적인 설정에서 이전 최고 성능(SOTA) 대비 평균 55%의 일반화 성능 향상을 달성한다.
• 고정된 ImageNet 미리 훈련된 ResNet의 초기층 특징을 사용하면 일반화 성능이 크게 향상되며, 환경에 특화된 데이터 증강에 의존하는 방법보다 뛰어난 성능을 기록한다.
• 지속 업데이트되는 배치 정규화는 성능 향상에 핵심적이다. 이는 추론 중에 분포가 다른 시각적 분포에 적응할 수 있도록 허용하기 때문이다.
• 사전 훈련된 인코더를 미세조정하면 분포 이탈로 인해 성능이 악화되므로, 일반화에 있어 고정된 표현이 더 강건함을 시사한다.
• CLIP와 MoCo-v2 등 다른 데이터셋에서 사전 훈련된 모델 역시 강력한 성능을 기록함으로써, 이익이 특정 데이터셋이 아닌 사전 훈련된 분포에 기인함을 확인한다.
• 프레임워크는 DMControl, Drawer World, CARLA 등 다양한 벤치마크에서 뛰어난 성능을 유지하여 광범위한 적용 가능성과 강건성을 입증한다.