[논문 리뷰] Vision-Language Models are Zero-Shot Reward Models for Reinforcement Learning
이 논문은 환경 상태의 CLIP 임베딩과 자연어 프롬프트 간의 코사인 유사도를 계산하여 CLIP와 같은 시각-언어 모델을 강화학습을 위한 제로샷 보상 모델로 사용하는 VLM-RM 방법을 제안한다. 보상 엔지니어링이나 미세조정 없이 단일 문장 프롬프트만으로 MuJoCo 히ュ먼로이드가 무릎을 꿇는 것, 스플릿을 하는 것, 띠를 앉는 자세를 취하는 등 복잡한 작업을 성공적으로 학습시키며, 모델 크기 증가에 따라 성능이 뚜렷이 향상되고 제로샷 설정에서도 뛰어난 내성성을 보여준다.
Reinforcement learning (RL) requires either manually specifying a reward function, which is often infeasible, or learning a reward model from a large amount of human feedback, which is often very expensive. We study a more sample-efficient alternative: using pretrained vision-language models (VLMs) as zero-shot reward models (RMs) to specify tasks via natural language. We propose a natural and general approach to using VLMs as reward models, which we call VLM-RMs. We use VLM-RMs based on CLIP to train a MuJoCo humanoid to learn complex tasks without a manually specified reward function, such as kneeling, doing the splits, and sitting in a lotus position. For each of these tasks, we only provide a single sentence text prompt describing the desired task with minimal prompt engineering. We provide videos of the trained agents at: https://sites.google.com/view/vlm-rm. We can improve performance by providing a second "baseline" prompt and projecting out parts of the CLIP embedding space irrelevant to distinguish between goal and baseline. Further, we find a strong scaling effect for VLM-RMs: larger VLMs trained with more compute and data are better reward models. The failure modes of VLM-RMs we encountered are all related to known capability limitations of current VLMs, such as limited spatial reasoning ability or visually unrealistic environments that are far off-distribution for the VLM. We find that VLM-RMs are remarkably robust as long as the VLM is large enough. This suggests that future VLMs will become more and more useful reward models for a wide range of RL applications.
연구 동기 및 목표
- 사전 학습된 시각-언어 모델을 활용하여 샘플 효율적이고 제로샷인 시각 기반 강화학습에서 보상 함수를 지정하는 방법을 개발한다.
- 사람의 피드백이나 작업에 특화된 보상 엔지니어링이 필요 없도록, VLM의 제로샷 능력을 활용하여 이를 제거한다.
- 대규모 VLM, 예를 들어 CLIP가 복잡한 로봇 제어 작업을 위한 효과적이고 일반적인 보상 모델로 기능할 수 있는지 평가한다.
- VLM 기반 보상 모델의 성능이 모델 크기와 훈련 데이터에 따라 어떻게 변화하는지 규명한다.
- VLM-RM가 강화학습에서 겪는 주요 실패 유형과 제한 사항을 규명한다. 특히 공간 추론 능력 부족과 분포 이탈 문제에 초점을 맞춘다.
제안 방법
- 이 방법은 CLIP을 시각-언어 모델로 사용하여 현재 환경 관측값의 CLIP 임베딩과 목적을 묘사하는 텍스트 프롬프트 간의 코사인 유사도를 계산해 보상을 산출한다.
- 중립적 또는 기본 상태를 묘사하는 프롬프트를 선택적으로 사용하여 CLIP 임베딩 공간에서 관련이 없는 방향을 제거함으로써 보상의 분류 능력을 향상시킨다.
- 보상 함수는 주어진 상태 s와 작업 프롬프트에 대해 R(s, a, s') = cos(clip_img_enc(s), clip_text_enc(prompt))로 정의된다.
- 표준 이면적 강화학습 알고리즘(SAC 등)을 사용하여 VLM에서 유도된 보상 신호를 기반으로 정책을 학습시킨다.
- 환경의 렌더링을 현실적으로 구현한 MuJoCo 환경에서 실험하여 VLM의 인식 능력과 환경 상태 간의 일치도를 높인다.
- 성능 평가는 표준 벤치마크 작업에서의 학습 성공률, 트레이젝터리 품질, 실제 보상과의 상관관계를 통해 평가된다.
실험 결과
연구 질문
- RQ1CLIP와 같은 시각-언어 모델을 미세조정 없이도 시각 기반 강화학습의 제로샷 보상 모델로 사용할 수 있는가?
- RQ2기반 시각-언어 모델의 크기와 훈련 데이터에 따라 VLM-RM의 성능은 어떻게 변화하는가?
- RQ3VLM-RM에서 기본 프롬프트를 사용해 보상 신호를 정규화하는 데 어떤 영향을 미치는가?
- RQ4환경 렌더링의 시각적 현실성과 분포 이탈에 대해 VLM-RM는 얼마나 내성적인가?
- RQ5VLM-RM의 주요 실패 유형은 무엇이며, 이는 현재 VLM의 알려진 한계와 어떻게 관련이 있는가?
주요 결과
- VLM-RM는 보상 엔지니어링 없이도 단일 문장 프롬프트 하나만으로 MuJoCo 히ュ먼로이드가 복잡한 비트레이드어포트 작업인 무릎 꿇기, 스플릿 자세, 띠를 앉는 자세 등을 성공적으로 학습시켰다.
- CartPole와 MountainCar와 같은 표준 RL 벤치마크에서 높은 성능을 기록하였으며, VLM-RM 보상과 실제 보상 간의 상관관계도 높았다.
- 더 큰 VLM는 더 많은 계산과 데이터로 훈련될수록 강력한 스케일링 효과를 보였으며, 유일하게 복잡한 히ュ먼로이드 작업 학습에 성공한 것은 가장 큰 공개 CLIP 모델 뿐이었다.
- 기본 프롬프트를 사용해 관련 없는 임베딩 방향을 제거함으로써 보상의 분류 능력과 성능이 향상되었으며, 특히 복잡한 작업에서 두드러졌다.
- 실패 유형은 주로 VLM의 알려진 한계, 즉 낮은 공간 추론 능력과 분포 이탈 시각 입력에 대한 민감성 때문이었으며, VLM-RM 아키텍처 자체의 결함 때문이 아니었다.
- VLM가 충분히 크다면 이 방법은 놀랄 정도로 내성적이며, 향후 더 큰 VLM가 점점 더 효과적인 제로샷 보상 모델이 될 것으로 예상된다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.