[논문 리뷰] Iso-Dream: Isolating and Leveraging Noncontrollable Visual Dynamics in World Models

Minting Pan, Xiangming Zhu외 2명|arXiv (Cornell University)|2022. 05. 27.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

Iso-Dream는 역동역학 최적화를 통해 비제어 가능한 시각적 동역학을 별도의 잠재 상태 분지로 분리함으로써 세계 모델 내에서 제어 가능한 및 비제어 가능한 시각적 동역학을 분리하는 새로운 모델 기반 강화학습 프레임워크를 제안한다. 비제어 가능한 동역학을 미래로 전개하고 어텐션을 통해 통합함으로써 에이전트는 장기적 결정 부문에서 뛰어난 성능을 발휘하며, CARLA, DeepMind Control Suite, BAIR, RoboNet 데이터셋에서 시각 기반 제어 및 예측 과제에서 이전 방법들을 능가한다.

ABSTRACT

World models learn the consequences of actions in vision-based interactive systems. However, in practical scenarios such as autonomous driving, there commonly exists noncontrollable dynamics independent of the action signals, making it difficult to learn effective world models. To tackle this problem, we present a novel reinforcement learning approach named Iso-Dream, which improves the Dream-to-Control framework in two aspects. First, by optimizing the inverse dynamics, we encourage the world model to learn controllable and noncontrollable sources of spatiotemporal changes on isolated state transition branches. Second, we optimize the behavior of the agent on the decoupled latent imaginations of the world model. Specifically, to estimate state values, we roll-out the noncontrollable states into the future and associate them with the current controllable state. In this way, the isolation of dynamics sources can greatly benefit long-horizon decision-making of the agent, such as a self-driving car that can avoid potential risks by anticipating the movement of other vehicles. Experiments show that Iso-Dream is effective in decoupling the mixed dynamics and remarkably outperforms existing approaches in a wide range of visual control and prediction domains.

연구 동기 및 목표

• 자율주행과 같은 제어 가능한 시각적 동역학과 비제어 가능한 시각적 동역학이 혼합된 환경에서 효과적인 세계 모델을 학습하는 데 도전한다.
• 다른 차량의 움직임과 같은 미래의 비제어 가능한 동역학을 예측할 수 있도록 에이전트가 미래를 고려하는 방식으로 장기적 결정 부문의 강화학습을 향상시킨다.
• 모듈러 표현 학습을 통해 행동 조건부(제어 가능한) 및 행동 무관(비제어 가능한) 상태 전이를 분리함으로써 세계 모델의 분리도를 향상시킨다.
• 미래의 비제어 가능한 상태 전개를 활용하여 더 샘플 효율적이고 예측 가능한 MBRL 프레임워크를 개발함으로써 더 나은 정책 학습을 가능하게 한다.

제안 방법

• 잠재 상태를 두 가지 분지로 분해한다: 제어 가능한 동역학을 위한 행동 조건부 분지와 비제어 가능한 동역학을 위한 행동 무관 분지.
• 행동를 상태 전이에서 재구성하기 위해 역동역학을 최적화함으로써 제어 가능한 및 비제어 가능한 구성 요소 간의 분리도를 강제한다.
• 재구성 및 분리도를 극대화하기 위해 변동형 하한 목적함수를 사용하여 세계 모델을 공동으로 학습한다.
• 정책 전개 중 현재 제어 가능한 상태와 미래의 비제어 가능한 상태 예측을 어텐션 메커니즘을 통해 통합한다.
• 분리된 잠재 상상의 행동을 최적화함으로써 모델 기반 강화학습을 수행함으로써 향후를 고려한 결정을 가능하게 한다.
• 고차원 시각 관측치를 기반으로 학습하고, 시간 모델링을 위해 두 분지 모두에 ST-LSTM 유닛을 사용한다.

실험 결과

연구 질문

• RQ1 비제어 가능한 시각적 동역학을 분리하면 시각 기반 강화학습에서 장기적 결정 부문의 성능 향상에 기여하는가?
• RQ2 제어 가능한 및 비제어 가능한 동역학을 분리하면 세계 모델의 정확도와 샘플 효율성에 어떤 영향을 미치는가?
• RQ3 역동역학 최적화가 잠재 공간 내 시각적 동역학의 분리도를 얼마나 향상시킬 수 있는가?
• RQ4 미래의 비제어 가능한 상태 예측을 통합하면 복잡한 시각 환경에서 정책 성능을 향상시키는가?

주요 결과

• Iso-Dream는 비디오 예측 과제에서 최신 기준 성능을 달성하였으며, BAIR 데이터셋에서 PSNR 19.51, SSIM 0.768을 기록하여 SVG 및 PhyDNet를 능가한다.
• RoboNet 데이터셋에서는 PSNR 21.71, SSIM 0.769를 기록하였으며, SVG 대비 9.3% 향상되고 PhyDNet 대비 7.7% 향상되었다.
• 정성적 결과는 행동 무관 분지가 비제어 가능한 동역학(예: 튀는 공)을 성공적으로 포착하는 동안, 행동 조건부 분지는 제어 가능한 운동을 모델링함을 보여준다.
• CARLA 자율주행 벤치마크에서 Iso-Dream는 다른 차량의 움직임을 예측함으로써 더 나은 위험 예측 능력을 제공하여 장기적 제어 성능을 향상시켰다.
• 더 긴 에피소드당 학습 시간이 걸리더라도, DreamerV2에 비해 더 높은 샘플 효율성을 보이며, 복잡한 시각 환경에서 뛰어난 학습 효율성을 보였다.
• 모델은 다양한 벤치마크에서 잘 일반화되며, 시뮬레이션된 제어 과제, 실제 로봇 데이터셋, 자율주행 시뮬레이션을 포함한 다양한 환경에서 우수한 성능을 발휘한다.