[논문 리뷰] Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning

Mohammad Babaeizadeh, Mohammad Saffar외 5명|arXiv (Cornell University)|2020. 12. 08.

Reinforcement Learning in Robotics참고 문헌 50인용 수 4

한 줄 요약

이 논문은 시각적 모델기반 강화학습(MBRL)에서의 설계적 트레이드오프를 평가하기 위해, 보상만 예측하는 모델들과 향후 관측값(이미지)을 모두 예측하는 모델들을 비교한다. 예측 성능 분석 결과, 이미지 예측이 작업 성능을 크게 향상시키며, 보상 예측 정확도보다 이미지 예측 정확도가 더 강하게 최종 성능과 상관관계를 보임을 발견한다. 이는 시각적 모델링이 탐색과 계획 효율성에 핵심적인 역할을 한다는 것을 시사한다.

ABSTRACT

Model-based reinforcement learning (MBRL) methods have shown strong sample efficiency and performance across a variety of tasks, including when faced with high-dimensional visual observations. These methods learn to predict the environment dynamics and expected reward from interaction and use this predictive model to plan and perform the task. However, MBRL methods vary in their fundamental design choices, and there is no strong consensus in the literature on how these design decisions affect performance. In this paper, we study a number of design decisions for the predictive model in visual MBRL algorithms, focusing specifically on methods that use a predictive model for planning. We find that a range of design decisions that are often considered crucial, such as the use of latent spaces, have little effect on task performance. A big exception to this finding is that predicting future observations (i.e., images) leads to significant task performance improvement compared to only predicting rewards. We also empirically find that image prediction accuracy, somewhat surprisingly, correlates more strongly with downstream task performance than reward prediction accuracy. We show how this phenomenon is related to exploration and how some of the lower-scoring models on standard benchmarks (that require exploration) will perform the same as the best-performing models when trained on the same training data. Simultaneously, in the absence of exploration, models that fit the data better usually perform better on the downstream task as well, but surprisingly, these are often not the same models that perform the best when learning and exploring from scratch. These findings suggest that performance and exploration place important and potentially contradictory requirements on the model.

연구 동기 및 목표

• 시각적 모델기반 강화학습(MBRL)의 근본적인 설계 선택이 성능에 미치는 영향를 이해하기 위해.
• 향후 관측값(이미지)을 예측하는 것과 보상만 예측하는 것의 영향을 최종 작업 성능에 대해 평가하기 위해.
• 잠재공간 모델링이나 기타 아키텍처 선택이 성능에 상당한 영향을 미치는지 조사하기 위해.
• 모델 정확도, 계획, 탐색 간의 상호작용을 분석하기 위해.
• 알고리즘적 혼란 요소와 무관하게, 모델 설계 간의 명확하고 통제된 비교를 제공하기 위해.

제안 방법

• 저자는 관측값(이미지)을 예측하는지 여부와, 역학을 잠재공간 또는 관측공간에서 모델링하는지에 따라 다른 MBRL 모델 아키텍처를 비교한다.
• 모든 모델은 동일한 계획 알고리즘(CEM)을 사용하고 고정된 초모수를 적용하여 설계의 영향을 고립시키도록 훈련 및 평가한다.
• 다양한 환경에서 일관된 훈련 및 평가 프로토콜을 사용하며, 제어 성능 및 예측 정확도 지표를 중점적으로 다룬다.
• 탐색이 필요한 표준 벤치마크와 고정된 훈련 데이터를 사용한 평가를 통해 성능를 탐색 동역학과 분리한다.
• 이미지 및 보상 예측 정확도를 측정하고 최종 작업 성능과 상관관계를 분석하여 예측 정밀도를 평가한다.
• 모델 용량에 영향을 미치는 요소를 분석하기 위해, 예를 들어 축소된 아키텍처를 포함한 추론 실험을 수행한다.

실험 결과

연구 질문

• RQ1 시각적 MBRL에서 향후 관측값(이미지)을 예측하는 것이 보상만 예측하는 것보다 더 나은 작업 성능을 이끌어내는가?
• RQ2 다음 작업 성능을 예측할 때 이미지 예측 정확도가 보상 예측 정확도보다 더 강하게 관련되는가?
• RQ3 잠재공간 사용이나 자동회귀 모델링과 같은 아키텍처 선택이 성능에 어느 정도 영향을 미치는가?
• RQ4 성능와 탐색이 예측 모델에 서로 다른 요구 조건을 제기하는 방식은 어떠한가?
• RQ5 학습을 처음부터 시작할 때 데이터를 더 잘 맞추는 모델이 항상 최고의 성능을 내는가, 아니면 탐색이 이 관계를 변화시키는가?

주요 결과

• 보상 예측만으로도 제어에 충분한 정보를 제공함에도 불구하고, 향후 관측값(이미지)을 예측하는 것이 보상만 예측하는 것보다 유의미하게 더 나은 작업 성능을 보인다.
• 이미지 예측 정확도가 보상 예측 정확도보다 최종 작업 성능과 더 강하게 상관관계를 가지며, 이는 시각적 정밀도가 계획 품질의 핵심 지표임을 시사한다.
• 탐색이 필요한 표준 벤치마크에서 성능이 열악한 모델들이 동일한 고정 데이터로 훈련될 경우 상위 모델과 유사한 성능을 보이며, 이는 탐색 의존성의 존재를 시사한다.
• 탐색이 없는 조건에서는 더 높은 데이터 피팅 능력(더 나은 예측 정확도)을 가진 모델이 일반적으로 더 나은 성능을 보이지만, 이는 처음부터 학습할 경우 항상 최고 성능을 내는 것은 아님을 시사한다.
• 잠재공간 사용이나 특정 네트워크 아키텍처와 같은 설계 선택이 최종 작업 성능에 거의 또는 전혀 영향을 미치지 않으며, 이는 이러한 요소의 필수성에 대한 기존의 가정을 도전한다.
• 연구 결과는 성능와 탐색이 예측 모델에 상반되는 요구 조건을 제기할 수 있으며, 이미지 예측이 더 나은 탐색과 장기 계획을 가능하게 한다는 점을 시사한다.