[논문 리뷰] RL-ViGen: A Reinforcement Learning Benchmark for Visual Generalization

Zhecheng Yuan, Sizhe Yang외 4명|arXiv (Cornell University)|2023. 07. 15.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

RL-ViGen은 조작, 주행, 자율주행 등 다양한 실제 작업 환경을 통합한 새로운 강화학습 기반 시각 일반화 벤치마크로, 조명, 카메라 시야, 시각적 외관 등 다양한 일반화 유형을 포함한다. 통합된 프레임워크 내에서 평가된 최첨단 알고리즘들은 보편적인 우월성을 보이지 않으며, 이는 실제 환경에서 더 견고하고 일반화 능력이 뛰어난 에이전트가 필요하다는 점을 시사한다.

ABSTRACT

Visual Reinforcement Learning (Visual RL), coupled with high-dimensional observations, has consistently confronted the long-standing challenge of out-of-distribution generalization. Despite the focus on algorithms aimed at resolving visual generalization problems, we argue that the devil is in the existing benchmarks as they are restricted to isolated tasks and generalization categories, undermining a comprehensive evaluation of agents' visual generalization capabilities. To bridge this gap, we introduce RL-ViGen: a novel Reinforcement Learning Benchmark for Visual Generalization, which contains diverse tasks and a wide spectrum of generalization types, thereby facilitating the derivation of more reliable conclusions. Furthermore, RL-ViGen incorporates the latest generalization visual RL algorithms into a unified framework, under which the experiment results indicate that no single existing algorithm has prevailed universally across tasks. Our aspiration is that RL-ViGen will serve as a catalyst in this area, and lay a foundation for the future creation of universal visual generalization RL agents suitable for real-world scenarios. Access to our code and implemented algorithms is provided at https://gemcollector.github.io/RL-ViGen/.

연구 동기 및 목표

• 기존의 시각 강화학습 벤치마크가 고립된 작업과 좁은 일반화 범주에 국한되어 있다는 한계를 해결한다.
• 현재의 벤치마크에 대한 알고리즘의 과적합 위험을 줄이기 위해 더 넓고 다양한 평가 프레임워크를 도입한다.
• 다양한 작업 유형과 시각적 흐트러짐 상황에서의 시각 일반화 능력에 대한 종합적이고 공정하며 신뢰할 수 있는 평가를 가능하게 한다.
• 최첨단 시각 강화학습 일반화 알고리즘의 통합된 훈련 및 평가 프레임워크를 제공하여 일관된 비교를 보장한다.
• 실제 환경에 적합한 보편적인 시각 일반화 에이전트 개발의 기반을 마련한다.

제안 방법

• 이동, 테이블탑 조작, 자율주행, 실내 탐색, 민감한 손가락 조작 등 다섯 가지 작업 유형을 포함하는 벤치마크 설계.
• 각 작업 유형에 대해 시각적 외관, 조도 변화, 카메라 시야, 장면 구조, 교차 신체 전이 등 다양한 일반화 유형 통합.
• 다양한 최첨단 시각 강화학습 알고리즘을 위한 통합된 훈련 프레임워크를 구현하여 일관된 최적화 방식과 공정한 비교 보장.
• 모든 환경에 고해상도이고 현실적인 렌더링 기법을 적용하여 실제 세계의 시각적 변동성을 더 잘 반영한다.
• 다양한 데이터 증강 기법(예: 무작위 자르기, 색상 왜곡, 시각적 중요도 기반 마스킹)을 통합하여 시각적 흐트러짐 상황에서의 견고성 테스트.
• 일반화 점수와 훈련 효율성 지표(예: 샘플 효율성, 벽시계 시간)를 모두 사용해 성능 평가.

실험 결과

연구 질문

• RQ1 기존의 시각 강화학습 일반화 알고리즘은 다양한 현실적인 작업 환경에서 일관된 성능을 보일 수 있는가?
• RQ2 조명 변화, 카메라 시야 이동, 시각적 외관 변화와 같은 다양한 일반화 유형이 알고리즘 성능에 어떤 영향을 미치는가?
• RQ3 현재 알고리즘은 다양한 신체 구조와 작업 구조 간에 얼마나 잘 일반화되는가?
• RQ4 다양한 알고리즘 간에 일반화 성능와 훈련 효율성(예: 샘플 효율성, 벽시계 시간) 사이의 상호 상충 관계는 어떠한가?
• RQ5 복잡하고 고차원적인 시각 환경에서 데이터 증강 전략의 선택이 일반화에 상당한 영향을 미치는가?

주요 결과

• 모든 작업과 일반화 유형에서 유일한 알고리즘이 항상 다른 알고리즘을 앞서지 않으며, 이는 현재 방법들이 보편적인 일반화 능력을 갖추지 못하고 있음을 시사한다.
• DrQ-v2는 이동 및 테이블탑 조작 작업에서 뛰어난 샘플 효율성을 보이며, 특히 중심에 위치한 에이전트와 데이터 증강 노이즈가 존재할 경우 두드러진다.
• CURL은 이동 및 조작 작업에서 DrQ-v2와 유사한 샘플 효율성을 달성하며, 특히 대비 손실을 사용하는 단일 공유 인코더를 활용할 경우 두드러진다.
• SGQN 및 PIE-G와 같은 알고리즘은 동적 비디오 배경과 간섭 물체가 존재하는 복잡한 시각 환경에서 더 나은 일반화 성능를 보이며, DrQ-v2는 고갈된 엔트로피 상태에서 어려움을 겪는다.
• 벽시계 훈련 시간 분석 결과 DrQ-v2가 가장 효율적이며, 시각적 중요도 맵을 사용하는 SGQN이나 사전 학습된 표현을 활용하는 PIE-G는 더 높은 계산 비용을 유발한다.
• 벤치마크는 첫인칭 시점 환경(예: Habitat, CARLA)이 데이터 증강 노이즈에 더 강건하며, 이로 인해 알고리즘 간 성능 변동성이 감소함을 드러냈다.