[논문 리뷰] XLVIN: eXecuted Latent Value Iteration Nets

Andreea Deac, Petar Veličković외 4명|arXiv (Cornell University)|2020. 10. 25.

Reinforcement Learning in Robotics참고 문헌 47인용 수 6

한 줄 요약

XLVINs는 대조적 자기지도 학습, 그래프 신경망, 신경 알고리즘적 추론을 조합하여 연속적이고 알 수 없거나 비정규적인 마르코프 결정 과정(MDP)에 대해 가치 반복 네트워크(VINs)를 일반화하는 새로운 암묵적 계획 프레임워크를 도입한다. 이 모델은 알려진 환경 역학을 필요로 하지 않고도 잠재 공간에서 가치 반복을 수행하도록 학습하며, 모델-프리 기반 모델보다 뛰어난 성능을 보이며, 특히 데이터가 적은 환경에서 기존 VIN 성능을 따라잡는다.

ABSTRACT

Value Iteration Networks (VINs) have emerged as a popular method to incorporate planning algorithms within deep reinforcement learning, enabling performance improvements on tasks requiring long-range reasoning and understanding of environment dynamics. This came with several limitations, however: the model is not incentivised in any way to perform meaningful planning computations, the underlying state space is assumed to be discrete, and the Markov decision process (MDP) is assumed fixed and known. We propose eXecuted Latent Value Iteration Networks (XLVINs), which combine recent developments across contrastive self-supervised learning, graph representation learning and neural algorithmic reasoning to alleviate all of the above limitations, successfully deploying VIN-style models on generic environments. XLVINs match the performance of VIN-like models when the underlying MDP is discrete, fixed and known, and provides significant improvements to model-free baselines across three general MDP setups.

연구 동기 및 목표

• 알려진 이산적이고 고정된 MDP가 필요로 하는 가치 반복 네트워크(VINs)의 한계를 극복하기 위해.
• 기본 상태 공간이 명시적으로 정의되거나 저장되지 않은 연속적 또는 알 수 없는 MDP에서 암묵적 계획을 가능하게 하기 위해.
• 학습 시 합성된 비일치하는 그래프에서 조건부로 훈련되더라도 환경 간에 강건하고 이식 가능한 계획 모듈을 설계하기 위해.
• 신경 알고리즘적 추론을 자기지도 표현 학습과 통합하여, 모델이 잠재 공간에서 가치 반복을 수행하도록 유도하기 위해.

제안 방법

• 지식이 없는 MDP를 제공받지 못한 채 원시 관측에서 환경 역학을 추론하기 위해 TransE 스타일의 상태 및 행동 임bedding을 활용한 대조적 자기지도 학습을 활용한다.
• 메시지 전달 기반의 그래프 신경망(GNN)을 사용하여 잠재 공간에서 부분적으로 추론된 MDP를 탐색함으로써, 비정규적 또는 연속적 상태 공간에서의 계획을 가능하게 한다.
• 벨만 백업의 구조를 모방하는 가분리 가능하고 학습 가능한 가치 반복 실행기 도입으로, 가치 반복의 알고리즘적 행동과의 일치를 보장한다.
• 구조적 관계를 유지하기 위해 대조 목표를 통해 훈련된 잠재 전이 모델을 사용하여, 임베딩 공간에서 정확한 계획을 가능하게 한다.
• 계획 모듈과 정책 네트워크(PPO)를 결합하여 계획과 제어를 동시에 최적화함으로써, 모델-프리 및 모델-기반 신호의 강력한 융합을 가능하게 한다.
• 정책 기반 강화 학습 방법을 사용하여 전체 시스템을 엔드 투 엔드로 훈련하며, 계획 모듈은 알고리즘적 인덕티브 바이어스를 통해 장기 수평 작업을 암묵적으로 학습한다.

실험 결과

연구 질문

• RQ1 전이 역학이 사전에 제공되지 않는 연속적 또는 알 수 없는 MDP에 대해 암묵적 계획을 효과적으로 일반화할 수 있는가?
• RQ2 MDP의 구조에 명시적인 액세스 없이도 신경망이 잠재 공간에서 가치 반복을 수행하도록 훈련할 수 있는가?
• RQ3 자기지도 역학 모델이 실제 환경 역학이 제공되지 않은 상황에서 효과적인 계획을 지원할 수 있는 정도는 어느 정도인가?
• RQ4 신경 알고리즘적 추론의 사용이 다양한 환경 간에 계획 모듈의 강건성과 이식 가능성을 향상시키는가?
• RQ5 모델-프리 기반 모델이 실패하는 데이터가 적은 환경에서 XLVINs는 성능을 유지할 수 있는가?

주요 결과

• XLVINs는 격자 세계와 같은 이산적이고 알려진 MDP에서 표준 VINs의 성능을 그대로 유지함으로써, 가치 반복의 인덕티브 바이어스를 유지하고 있음을 입증한다.
• 카트폴, 애크로봇, 마운틴카와 같은 연속 상태 환경에서 XLVINs는 모델-프리 PPO 기반 모델을 크게 능가하며, 명시적인 스칼라 가치 예측에 의존하는 ATreeC를 넘어서는 성능을 보인다.
• 아케이트 환경에서는 첫 50만 개 전이 동안 XLVINs가 ATreeC와 PPO 기반 모델을 일관되게 능가하며, 특히 데이터가 적은 환경에서 뛰어난 성능을 보인다.
• 모델의 계획 실행기는 환경 간에 일반화되며, 임의로 생성된 그래프에서 훈련한 후 실세계 작업인 엔두로 및 미로 탐색에 성공적으로 전이된다.
• 정성적 분석 결과 XLVINs는 목표까지의 최단 거리에 따라 잠재 상태 임베딩을 재구성하는 방식으로 계획을 수행하고 있음을 보여주며, 이는 잠재 공간에서 효과적인 계획을 수행하고 있음을 시사한다.
• 절단 실험 결과 픽셀 기반 월드 모델은 XLVINs를 지원하지 못하고, 스칼라 가치 기반 계획 모듈인 ATreeC는 성능이 열 劣하므로, 잠재 공간 기반 그래프 기반 계획 모듈의 중요성을 입증한다.