[논문 리뷰] Temporal Predictive Coding For Model-Based Planning In Latent Space

Tung Nguyen, Rui Shu외 3명|arXiv (Cornell University)|2021. 06. 14.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 고차원적 관측에서 잡음이나 배경 정보와 같은 과제에 무관한 정보를 줄이고, 시간적으로 예측 가능하고 과제 관련 특징을 우선시하는 정보 이론적 목표를 사용하여 잠재 공간에서 모델 기반 강화학습을 위한 시간 예측 코드(TPC)를 제안한다. 복잡한 배경을 가진 DMControl 환경에서 최신 기술을 능가하며, 표준 벤치마크에서도 경쟁적인 성능을 유지한다.

ABSTRACT

High-dimensional observations are a major challenge in the application of model-based reinforcement learning (MBRL) to real-world environments. To handle high-dimensional sensory inputs, existing approaches use representation learning to map high-dimensional observations into a lower-dimensional latent space that is more amenable to dynamics estimation and planning. In this work, we present an information-theoretic approach that employs temporal predictive coding to encode elements in the environment that can be predicted across time. Since this approach focuses on encoding temporally-predictable information, we implicitly prioritize the encoding of task-relevant components over nuisance information within the environment that are provably task-irrelevant. By learning this representation in conjunction with a recurrent state space model, we can then perform planning in latent space. We evaluate our model on a challenging modification of standard DMControl tasks where the background is replaced with natural videos that contain complex but irrelevant information to the planning task. Our experiments show that our model is superior to existing methods in the challenging complex-background setting while remaining competitive with current state-of-the-art models in the standard setting.

연구 동기 및 목표

• 고차원 관측에서 과제에 무관한 배경 정보 문제를 해결하기 위해.
• 정적 또는 간섭 물질보다 시간적으로 예측 가능하고 과제 관련 성분을 우선시하는 표현 학습 방법을 개발하기 위해.
• 잡음이 많은 환경에서의 샘플 효율성과 강건성을 향상시키기 위해.
• 재구성 기반 목표를 이론적으로 탄탄한 예측 코드 접근법으로 대체하여 불필요한 시각적 세부 정보를 인코딩하는 것을 피하기 위해.
• 예측 코드 목표에서 유도된 역동성 모델을 기반으로 잠재 공간에서 효과적인 계획을 수행할 수 있도록 하기 위해.

제안 방법

• 이 방법은 진짜 다음 잠재 상태와 다른 트래잭터리에서 생성된 음성 샘플 간의 대비를 통해 시간에 걸쳐 예측 일致성을 극대화하는 시간 예측 코드(TPC)를 사용한다.
• 관측과 잠재 코드 간의 대비가 아니라, 연속된 시간 단계의 잠재 상태 간의 대비를 사용하여 예측 가능한 역동성을 장려한다.
• 잠재 역동성은 순환 상태 공간 모델(RSSM)을 사용하여 모델링하여, 잠재 공간에서 롤아웃을 통한 계획을 가능하게 한다.
• 역전파를 역동성 및 계획 과정 전반에 걸쳐 적용하여, 정책과 월드 모델과 함께 엔드 투 엔드로 훈련한다.
• 예측 가능하지 않은 성분들만을 고려함으로써, 과제에 무관한 정보의 인코딩을 암묵적으로 억제한다.
• 재구성 기반 방법과 달리 디코더 네트워크가 필요 없으므로, 배경 간섭 요소에 대한 민감도가 감소한다.

실험 결과

연구 질문

• RQ1 시간 일관성에 초점을 맞춘 예측 코드 목표가 고차원 RL에서 재구성 기반 또는 정적 대비 목표보다 우월한가?
• RQ2 시간 예측 코드가 시각적 관측에서 과제에 무관하고 정적 배경 정보의 인코딩을 자연스럽게 억제하는가?
• RQ3 복잡하고 간섭 요소가 많은 배경을 가진 환경에서 최신 기술 기반 모델 기반 RL 접근법과 비교해 본 결과, 이 방법은 어떻게 성능을 내는가?
• RQ4 어려운 간섭 요소 환경에서 뛰어난 성능을 내는 동시에, 표준 DMControl 벤치마크에서 기존 최신 기술 모델들과 경쟁 가능한가?
• RQ5 예측 코드 목표는 실제 RL 환경에서 샘플 효율성과 강건성에 기여하는 바가 무엇인가?

주요 결과

• 제안된 TPC 방법은 자연 영상 배경을 포함한 복잡한 간섭 요소가 있는 DMControl 작업에서 기존 최신 기술 모델을 크게 능가한다.
• 간섭 요소가 없는 표준 DMControl 벤치마크에서는 현재 최신 기술 모델과 경쟁 가능하며, 뛰어난 일반화 능력을 입증한다.
• 절단 실험 결과 TPC는 재구성 기반 또는 정적 대비 방법과 달리 정적이고 예측 불가능한 배경 요소의 인코딩을 효과적으로 억제함을 확인한다.
• 예측 가능하고 과제 관련 역동성에 집중함으로써, 복잡한 환경에서 더 높은 샘플 효율성을 달성한다.
• 이론적 분석 결과 TPC는 시간적으로 예측 가능한 성분을 우선시하므로 최적의 의사결정을 위한 정보를 충분히 인코딩함을 보여준다.
• 실증 결과는 TPC가 예측 목표를 통해 노이즈와 간섭 요소를 걸러내어 잠재 공간에서 더 강건한 계획을 가능하게 함을 검증한다.