[논문 리뷰] Deep Latent Competition: Learning to Race Using Visual Control Policies in Latent Space

Wilko Schwarting, Tim Seyde외 5명|arXiv (Cornell University)|2021. 02. 19.

Reinforcement Learning in Robotics인용 수 10

한 줄 요약

딥 레이턴트 컴피티션(DLC)은 학습된 레이턴트 공간에서 상상 속 자기대전을 통해 경쟁적인 시각적 제어 정책을 학습하는 모델 기반의 다중 에이전트 강화학습 알고리즘이다. 공동 전이 함수와 상대 시점 예측을 결합함으로써 DLC는 원시 이미지 관측에서 스케일러블하고 일관된 다중 에이전트 계획을 가능하게 하며, 상대를 상상 속에서 고려하지 않는 기준 모델들보다 뛰어난 레이싱 성능을 달성한다.

ABSTRACT

Learning competitive behaviors in multi-agent settings such as racing requires long-term reasoning about potential adversarial interactions. This paper presents Deep Latent Competition (DLC), a novel reinforcement learning algorithm that learns competitive visual control policies through self-play in imagination. The DLC agent imagines multi-agent interaction sequences in the compact latent space of a learned world model that combines a joint transition function with opponent viewpoint prediction. Imagined self-play reduces costly sample generation in the real world, while the latent representation enables planning to scale gracefully with observation dimensionality. We demonstrate the effectiveness of our algorithm in learning competitive behaviors on a novel multi-agent racing benchmark that requires planning from image observations. Code and videos available at https://sites.google.com/view/deep-latent-competition.

연구 동기 및 목표

• 부분 관측성과 고차원 이미지 입력을 가진 다중 에이전트 환경에서 경쟁적 고속 주행 행동을 학습하는 데 도전하는 것.
• 학습된 세계 모델에서 비용이 많이 드는 실제 세계 롤아웃을 상상 속 자기대전으로 대체함으로써 시각적 제어 정책의 효율적 훈련을 가능하게 하는 것.
• 자기 관측에서 상대의 시점 예측을 통해 에이전트 상태를 함께 모델링함으로써 상대 행동에 대한 추론을 향상시키는 것.
• 부분 관측 하에서 장기 예측 계획을 지원하는 스케일러블하고 일관된 잠재 세계 모델을 개발하는 것.
• 새로운 연속 제어 레이싱 벤치마크에서 공동 역학과 믿음 추정을 갖춘 상상 속 자기대전의 효과성을 입증하는 것.

제안 방법

• 이미지 관측을 압축된 레이턴트 공간으로 인코딩하기 위해 Variational Autoencoder를 사용하여 다중 에이전트 세계 모델을 학습한다.
• 양쪽 에이전트의 레이턴트 상태를 동시에 전파하는 공동 전이 함수를 적용하여 상상된 궤적의 일관성을 보장한다.
• 자기 에이전트의 시점에서 상대의 시각적 관측을 예측하기 위한 별도의 디코더 헤드를 도입하여 믿음 추정을 가능하게 한다.
• 학습된 세계 모델을 사용하여 장기 예측 롤아웃을 생성하고 자기대전 훈련에 활용하며, 상상된 궤적을 통해 역전파되는 정책 기울기를 사용한다.
• 상상된 게임 결과를 사용하여 분석적 기울기 업데이트를 통해 정책을 최적화하며, 훈련 중 실제 세계 환경 상호작용을 피한다.
• 재구성 손실, 예측 손실 및 정책 기울기 손실의 조합을 사용하여 에이전트를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 학습된 레이턴트 공간에서 상상 속 자기대전이 실제 세계 롤아웃 없이도 효과적인 경쟁적 시각적 제어 정책 학습을 가능하게 할 수 있는가?
• RQ2 한 에이전트만 상대를 관측할 때 공동 세계 모델이 다중 에이전트 예측에서 얼마나 잘 일관성을 유지하는가?
• RQ3 자기 에이전트의 시점에서 상대의 시점을 예측함으로써 경쟁적 레이싱에서 정책 성능이 향상되는가?
• RQ4 레이턴트 공간 세계 모델이 고차원 이미지 관측에 스케일링되면서도 계획 정밀도를 유지할 수 있는가?
• RQ5 공동 역학을 갖춘 상상 속 자기대전가 별도의 에이전트 상태 전파 방식에 비해 정책 성능에서 어떻게 다른가?

주요 결과

• DLC 에이전트는 상상 속에서 상대를 고려하지 않는 기준 모델들보다 뛰어난 레이싱 성능을 달성하여 공동 계획의 가치를 입증한다.
• 상상된 궤적은 25개 타임스텝 동안 양쪽 에이전트의 시각을 일관되게 예측하며, 정확한 트랙 특징과 상대 위치가 유지된다.
• 모델은 관측 가능한 상대를 정확히 재구성하고 관측되지 않을 경우에도 합리적으로 행동을 예측하여 잡음 전용 출력을 피한다.
• 공동 전이 함수는 예측이 에이전트 간에 일관되게 유지되도록 하여 행동 영향력의 신뢰할 수 있는 추정을 가능하게 한다.
• 에이전트는 상상된 시퀀스에서 상대를 트랙에서 밀어내는 방식으로 추월 전략을 학습한다. 이는 전략적 추론을 의미한다.
• 이 방법은 상태 목록이나 지도와 같은 특권 정보 없이도 원시 이미지 관측에서 효과적인 훈련을 가능하게 한다.