[논문 리뷰] Latent World Models For Intrinsically Motivated Exploration

Aleksandr Ermolov, Nicu Sebe|arXiv (Cornell University)|2020. 10. 05.

Machine Learning and Algorithms참고 문헌 1인용 수 13

한 줄 요약

이 논문은 시간적 근접도에 따라 이미지 기반 관측치를 저차원 잠재 공간에 정렬함으로써 예측 모델 오차를 통한 강건한 이상 탐지가 가능한 자기지도 학습 표현 학습 방법인 잠재 세계 모델(Latent World Models, LWM)을 제안한다. 이 방법은 시간 대비 대비 학습과 세계 모델을 결합함으로써 부분 관측 가능하고 보상이 희박한 환경, 예를 들어 아케이드 게임인 아케이드 게임에서 내재적 탐색을 향상시키며, 몬테주마의 복도와 같은 어려운 탐색 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

In this work we consider partially observable environments with sparse rewards. We present a self-supervised representation learning method for image-based observations, which arranges embeddings respecting temporal distance of observations. This representation is empirically robust to stochasticity and suitable for novelty detection from the error of a predictive forward model. We consider episodic and life-long uncertainties to guide the exploration. We propose to estimate the missing information about the environment with the world model, which operates in the learned latent space. As a motivation of the method, we analyse the exploration problem in a tabular Partially Observable Labyrinth. We demonstrate the method on image-based hard exploration environments from the Atari benchmark and report significant improvement with respect to prior work. The source code of the method and all the experiments is available at https://github.com/htdt/lwm.

연구 동기 및 목표

• 랜덤 탐색이 비효율적인 부분 관측 가능하고 보상이 희박한 환경에서 내재적 탐색의 과제를 해결하기 위해.
• 관측치 간 시간적 거리에 따라 잠재 표현을 정렬하는 자기지도 학습 표현 학습 방법을 개발하여 확률적 요건에 대한 강건성을 향상시키기 위해.
• 학습된 잠재 공간에서 예측 세계 모델을 사용해 누락된 환경 정보를 추정하고 예측 오차를 통해 탐색을 이끌기 위해.
• 특히 보상이 희박한 어려운 탐색 아케이드 게임인 이미지 기반 환경에서 이 방법의 효과성을 입증하기 위해.
• 재생 버퍼를 사용해 최신 세계 모델 예측을 기반으로 내재 보상 재계산을 통해 샘플 효율성을 향상시키기 위해.

제안 방법

• 이 방법은 시간적 근접도에 기반한 대비 학습 목표를 사용한다: 잠재 공간에서 시간적으로 가까운 관측치의 표현 간 유클리드 거리를 최소화한다.
• 열악한 해법을 방지하고 분리된, 강건한 표현을 보장하기 위해 특징 화이트닝을 적용한다.
• 현재 잠재 상태와 행동을 입력으로 받아 다음 잠재 상태를 예측하는 순환 세계 모델을 훈련하며, 예측 오차를 내재 보상으로 사용한다.
• 세계 모델은 잠재 공간에서 작동하므로 이미지 수준의 재구성 없이 효율성을 향상시킨다.
• 내재 보상은 세계 모델의 예측 오차로 계산되며 외재 보상과 결합되어 탐색 정책을 훈련한다.
• 샘플 효율성을 향상시키기 위해 경험 재생을 사용하며, 재생 샘플마다 최신 세계 모델 예측을 기반으로 내재 보상을 재계산하여 최신 추정을 보장한다.

실험 결과

연구 질문

• RQ1 시간적 거리에 따라 잠재 표현을 정렬하는 자기지도 학습 표현 학습 방법이 이미지 기반 관측치에서 확률적 요인에 대한 강건성을 향상시킬 수 있는가?
• RQ2 그러한 표현에 기반해 훈련된 예측 세계 모델이 부분 관측 가능한 환경에서 새로운 상태 또는 방문하지 않은 상태를 효과적으로 탐지할 수 있는가?
• RQ3 잠재 공간에서의 세계 모델 예측 오차를 내재 보상으로 사용할 경우, 희박한 보상 환경에서 탐색 효율성이 상당히 향상되는가?
• RQ4 제안된 방법이 어려운 탐색 아케이드 게임에서 이전의 내재 호기심 및 이상 탐지 방법을 능가할 수 있는가?
• RQ5 이 방법은 에피소드적 불확실성과 장기적 불확실성 간의 상호작용을 어떻게 다루는가?

주요 결과

• LWM 방법은 몬테주마의 복도에서 최종 누적 보상 2276점을 기록하여 이전 방법들인 ICM(161점)과 RND(377점)를 크게 앞서며 성과를 냈다.
• 프로스트바이트에서는 누적 보상 8409점을 기록하여 이전 최고 성능 방법(4465점)을 3900점 이상 앞섰다.
• 벤처에서는 998점의 점수를 기록하여 이전 최고 성능(707점)을 291점 초과해 성능 향상을 입증했다. 이는 복잡한 탐색 과제에서의 향상된 성능을 보여준다.
• 이 방법은 부분 관측 가능한 미로 테스트의 모든 크기(4×4 및 5×5)를 성공적으로 해결했으며, 표준 순환 DQN은 완전히 실패한 반면 성공적으로 작동했다.
• 자기지도 학습 표현 학습 방법은 확률적 요인에 대한 경험적 강건성과 잠재 공간 내에서의 관측치의 효과적인 시간적 정렬을 보였다.
• 재생 버퍼에서 최신 내재 보상을 사용함으로써 샘플 효율성이 향상되었으며, 이는 이미지 기반 환경에서 안정적인 훈련을 가능하게 했다.