[논문 리뷰] MoVie: Visual Model-Based Policy Adaptation for View Generalization

Sizhe Yang, Yanjie Ze외 1명|arXiv (Cornell University)|2023. 07. 03.

Domain Adaptation and Few-Shot LearningComputer Science인용 수 3

한 줄 요약

MoVie는 훈련 시 변경 없이 시각 기반 강화학습 정책의 테스트 시 적응 방법을 제안하여 시야 일반화를 달성한다. 깊이가 浅인 인코더 레이어에 공간 변환 네트워크(STN)를 통합하고, 고정된 다이내믹스 모델을 자체 지도 학습 신호로 사용함으로써, 새로운 시야, 움직이는 시야, 흔들리는 시야, 변경된 시야각 조건과 같은 도전적인 시야 일반화 상황에서 18개 작업 전반에 걸쳐 최대 152%의 상대적 향상을 달성한다.

ABSTRACT

Visual Reinforcement Learning (RL) agents trained on limited views face significant challenges in generalizing their learned abilities to unseen views. This inherent difficulty is known as the problem of $ extit{view generalization}$. In this work, we systematically categorize this fundamental problem into four distinct and highly challenging scenarios that closely resemble real-world situations. Subsequently, we propose a straightforward yet effective approach to enable successful adaptation of visual $ extbf{Mo}$del-based policies for $ extbf{Vie}$w generalization ($ extbf{MoVie}$) during test time, without any need for explicit reward signals and any modification during training time. Our method demonstrates substantial advancements across all four scenarios encompassing a total of $ extbf{18}$ tasks sourced from DMControl, xArm, and Adroit, with a relative improvement of $\mathbf{33}$%, $\mathbf{86}$%, and $\mathbf{152}$% respectively. The superior results highlight the immense potential of our approach for real-world robotics applications. Videos are available at https://yangsizhe.github.io/MoVie/ .

연구 동기 및 목표

• 실제 로봇 응용 분야에서 제한된 카메라 시야로 훈련된 정책이 새로운 시야에서 실패하는 문제를 해결하기 위해, 시각 강화학습에서 시야 일반화의 핵심 과제를 해결한다.
• 테스트 시 시나리오를 네 가지 현실적인 유형으로 체계적으로 분류한다: 새로운 시야, 움직이는 시야, 흔들리는 시야, 새로운 시야각(FOV).
• 훈련 시 변경 없이도 보상 신호 의존 없이 시각 기반 정책이 추론 중에 새로운 시야에 적응할 수 있도록 단순하면서도 효과적인 방법을 개발한다.
• 로봇 조작 및 이동 작업을 포함한 다양한 로봇 환경에서 실제와 유사한 시야 변화를 적용하여 본 방법의 효과성을 입증한다.

제안 방법

• MoVie는 시각 인코더의 얕은 레이어에 공간 변환 네트워크(STN)를 통합하여 시야 불변 표현을 학습하는 공간 적응형 인코더(SAE)를 도입한다.
• 이 방법은 다이내믹스 모델(DM)을 고정한 채로 SAE만 미세조정하는 테스트 시 적응을 수행하며, DM의 자체 지도 학습 동적 예측 목표를 학습 신호로 사용한다.
• 다이내믹스 모델은 훈련 기간 동안 사전 훈련되며, 적응 기간 동안 고정되어 있어 새로운 시야에 맞게 적응하는 인코더를 일관된 감독 아래 유지한다.
• 이 방법은 어떤 시각 기반 강화학습 알고리즘과도 호환되며, 효과적인 적응을 위해 소수의 환경 상호작용만 필요하다.
• 적응 과정에서 보상 신호가 필요 없기 때문에 실세계 구현에 있어 강건하고 실용적이다.

실험 결과

연구 질문

• RQ1 훈련 시 변경 없이도 테스트 시 새로운 카메라 시야에 효과적으로 적응할 수 있는 시각 기반 정책이 가능한가?
• RQ2 인코더에 공간 변환 네트워크(STN)를 통합하는 것이 시각 강화학습에서 시야 일반화를 달성하는 데 얼마나 효과적인가?
• RQ3 테스트 시 적응 중에 고정된 다이내믹스 모델을 자체 지도 학습 신호로 사용할 경우, 엔드 투 엔드 미세조정 또는 기준 방법보다 뛰어난 성능을 내는가?
• RQ4 이 방법은 움직이는, 흔들리는, 새로운 시야각 조건을 포함한 다양한 현실적인 시야 일반화 시나리오에서 어떻게 성능을 내는가?

주요 결과

• MoVie는 강력한 기준 모델 대비 xArm 작업에서 86%의 상대적 향상을, Adroit 작업에서 최대 152%의 상대적 향상을 달성하여 로봇 조작에서의 효과성을 입증한다.
• 청타, 달리기 이동 작업에서 MoVie는 모든 설정에서 12% 향상을 기록했으며, 도전적인 새로운 시야각 설정에서는 15% 향상을 달성했다.
• 절단 실험 결과, 적응 중 다이내믹스 모델을 고정하는 것이 엔드 투 엔드 미세조정보다 더 좋은 결과를 낸다는 점을 확인하여 안정적인 자체 지도 학습의 가치를 입증한다.
• 역동적 다이내믹스 모델(IDM)과 STN를 통합하면 성능이 더욱 향상되어 공간 적응 메커니즘의 일반화 가능성을 검증한다.
• MoVie는 18개 작업 및 64개 설정 전반에서 강력한 기준 모델을 일관되게 능가하며, 흔들리는 시야, 움직이는 시야와 같은 다양한 설정에서도 뛰어난 성능을 보였다.