[논문 리뷰] Does Self-supervised Learning Really Improve Reinforcement Learning from Pixels?

Xiang Li, Jinghuan Shang외 2명|arXiv (Cornell University)|2022. 06. 10.

Advanced Fluorescence Microscopy Techniques인용 수 9

한 줄 요약

이 논문은 픽셀에서 온라인 강화학습(Reinforcement Learning, RL)을 위한 자기지도학습(Self-Supervised Learning, SSL)이 연합 SSL-RL 프레임워크를 통해 개선되는지 조사한다. 다수의 SSL 손실과 진화적 하이퍼파rameter 검색을 포함한 광범위한 실험에도 불구하고, 데이터와 증강 기법을 동일하게 유지할 경우 SSL은 이미지 증강 기반의 베이스라인에 비해 유의미한 향상이 없다는 것을 발견하였으며, 이는 현재의 연합 SSL-RL 프레임워크가 샘플 효율성과 다양한 환경 간 일반화 능력에서 제한되어 있음을 시사한다.

ABSTRACT

We investigate whether self-supervised learning (SSL) can improve online reinforcement learning (RL) from pixels. We extend the contrastive reinforcement learning framework (e.g., CURL) that jointly optimizes SSL and RL losses and conduct an extensive amount of experiments with various self-supervised losses. Our observations suggest that the existing SSL framework for RL fails to bring meaningful improvement over the baselines only taking advantage of image augmentation when the same amount of data and augmentation is used. We further perform evolutionary searches to find the optimal combination of multiple self-supervised losses for RL, but find that even such a loss combination fails to meaningfully outperform the methods that only utilize carefully designed image augmentations. After evaluating these approaches together in multiple different environments including a real-world robot environment, we confirm that no single self-supervised loss or image augmentation method can dominate all environments and that the current framework for joint optimization of SSL and RL is limited. Finally, we conduct the ablation study on multiple factors and demonstrate the properties of representations learned with different approaches.

연구 동기 및 목표

• 자기지도학습(SSL)이 연합 SSL-RL 학습 프레임워크 하에서 픽셀 기반 온라인 강화학습(Reinforcement Learning, RL)을 향상시키는지 평가하기 위해.
• 다양한 환경, 특히 실제 로봇 환경을 포함하여 다양한 SSL 손실과 이미지 증강 전략의 성능를 비교하기 위해.
• 진화적 검색을 통해 최적의 SSL 손실 조합과 증강 강도를 식별하기 위해.
• 다양한 SSL 및 증강 기법 하에서 학습된 특징의 표현적 성질을 분석하기 위해.
• 현재 연합 SSL-RL 프레임워크의 샘플 효율성과 환경 간 일반화 능력 측면에서의 한계를 평가하기 위해.

제안 방법

• 연속적 및 이산적 행동 공간을 가진 환경에서 SAC와 Rainbow DQN을 사용하여, 대비적 RL 프레임워크(CURL 등)를 확장하여 SSL 및 RL 손실을 동시에 최적화한다.
• 쌍별 SSL 방법 4종(MoCo, BYOL, SimSiam, DINO)을 사용하며, 이는 모두 RL과의 연합 학습에 적응된 형태로 적용된다.
• 랜덤 크롭 및 이동과 같은 이미지 증강 기법을 적용하고, 손실 조합과 증강 강도에 대해 진화적 하이퍼파rameter 검색을 수행한다.
• 클러스터링 정확도와 선형 프로브 성능를 포함한 표현 품질에 대한 분석을 위해 추론 특징의 아블레이션 연구를 수행한다.
• 다양한 벤치마크에서 평가: DMControl(연속 제어), Atari(이산 제어), 실제 로봇 환경(Franka Picking).
• 공정한 데이터 사용을 확보하기 위해, 연합 학습과 비교를 위한 사전학습 프레임워크를 베이스라인으로 사용한다.

실험 결과

연구 질문

• RQ1 연합 학습 프레임워크 하에서 자기지도학습과 강화학습을 동시에 최적화하면 픽셀 기반 RL에서 샘플 효율성과 최종 성능이 향상되는가?
• RQ2 진화적 검색을 통해 도출된 다수의 자기지도학습 손실 조합이 동일한 데이터 및 증강 예산 하에서 이미지 증강 기반 베이스라인을 초월할 수 있는가?
• RQ3 다양한 SSL 방법으로 학습된 표현은 후속 RL 성능와 내재적 품질 지표 측면에서 어떻게 비교되는가?
• RQ4 데이터가 제한적일 경우, 연합 학습 프레임워크는 사전학습 기반 SSL-RL 접근법보다 항상 우월하거나 劣열한가?
• RQ5 특정 환경이나 작업에서는 단순한 데이터 증강보다 SSL이 측정 가능한 이점을 제공하는가?

주요 결과

• 동일한 데이터와 증강 설정 하에서, 연합 학습 프레임워크 내에서 어떤 단일 SSL 손실이나 손실 조합도 DrQ 및 RAD와 같은 이미지 증강 기반의 베이스라인을 초월하지 못한다.
• 최적의 손실 조합을 찾기 위한 진화적 검색은 일관된 향상을 이끌지 못했으며, '긴 설정(Longer)' 조건에서만 ELo-SAC 방법이 증강 기반 베이스라인과 유사한 성능을 기록했다.
• 사전학습 프레임워크는 대부분의 경우 연합 학습을 능가하지만, 이 우월성은 프레임워크 자체보다는 추가 데이터 접근성 덕분이다.
• 데이터가 엄격하게 제한된 경우, 연합 학습 프레임워크는 사전학습보다 더 나은 성능을 보이며, 이는 제약 있는 데이터 환경에서 연합 학습이 더 샘플 효율적일 수 있음을 시사한다.
• 표현 아블레이션 결과, SSL 방법으로 학습된 특징는 환경 간 일관된 일반화를 보이지 않으며, 어떤 SSL 방법도 모든 작업에서 우월하지는 않는다.
• 실제 로봇 환경에서는 어떤 SSL 방법도 증강 기반 베이스라인을 뛰어넘지 못했으며, 이는 현재의 연합 SSL-RL 접근법의 실용적 한계를 강조한다.