[논문 리뷰] Playing Doom with SLAM-Augmented Deep Reinforcement Learning

Shehroze Bhatti, Alban Desmaison외 4명|arXiv (Cornell University)|2016. 12. 01.

Reinforcement Learning in Robotics참고 문헌 38인용 수 46

한 줄 요약

이 논문은 객체 탐지와 SLAM를 활용해 실시간으로 유도된 의미적 및 위상적 지ap을 DQN에 통합하여 3D 환경에서 정책 학습을 향상시키는 것을 제안한다. 실시간 재구성된 의미 지도(RSM)를 DQN 입력에 통합함으로써, 표준 DQN보다 훨씬 뛰어난 성능과 더 긴 생존 시간을 기록했으며, 우선순위 경험 재현과 듀얼 네트워크를 결합한 고급 DQN 버전조차도 능가했다.

ABSTRACT

A number of recent approaches to policy learning in 2D game domains have been successful going directly from raw input images to actions. However when employed in complex 3D environments, they typically suffer from challenges related to partial observability, combinatorial exploration spaces, path planning, and a scarcity of rewarding scenarios. Inspired from prior work in human cognition that indicates how humans employ a variety of semantic concepts and abstractions (object categories, localisation, etc.) to reason about the world, we build an agent-model that incorporates such abstractions into its policy-learning framework. We augment the raw image input to a Deep Q-Learning Network (DQN), by adding details of objects and structural elements encountered, along with the agent's localisation. The different components are automatically extracted and composed into a topological representation using on-the-fly object detection and 3D-scene reconstruction.We evaluate the efficacy of our approach in Doom, a 3D first-person combat game that exhibits a number of challenges discussed, and show that our augmented framework consistently learns better, more effective policies.

연구 동기 및 목표

• 부분 관측, 희박한 보상, 고차원 상태 공간과 같은 복잡한 3D 환경에서 표준 딥 강화학습(DRL)의 한계를 해결한다.
• 인간과 유사한 공간적 및 의미적 추상화(예: 객체 카테고리, 위치, 위상적 구조)를 통합하면 3D 게임 환경에서 정책 학습이 향상되는지 조사한다.
• 지상 진실 지도가 필요 없이 실시간으로 자동으로 재구성된 의미 지도(RSM)를 DQN에 입력 보강으로 사용할 수 있는지의 타당성과 효능을 입증한다.
• 실제 컴퓨터 비전 오류에 대한 내성성을 평가하기 위해 오라클 의미 지도(OSM)와 재구성된 의미 지도(RSM) 간의 성능 격차를 평가한다.
• 표준 DRL 에이전트에 환경의 추상화를 통합하여 3D 공간 영역에서 더 나은 일반화와 탐색을 가능하게 하는 확장 가능한 프레임워크를 수립한다.

제안 방법

• SLAM와 딥 러닝을 활용해 실시간 3D 장면 재구성 및 객체 탐지를 통합하여 의미 지도를 실시간 생성한다.
• 탐지된 객체(예: 적, 체력 포션 등)와 에이전트의 위치 정보를 융합하여 환경의 위상적 표현을 구성한다.
• 딥 Q-네트워크(DQN)의 원시 픽셀 입력에 이 의미 지도 표현을 추가 입력 모odal로 통합한다.
• 합성 시각 및 의미 입력을 처리하기 위해 컨volutional 신경망(CNN)을 사용하는 표준 DQN 아키텍처를 사용하여 행동 선택을 수행한다.
• 경험 재현과 시간 차분 학습을 사용하여 모델을 학습시키며, 도움을 주는 보상 구조를 적용해 도움의 생존과 목표 완료를 장려한다.
• 세 가지 입력 기반으로 성능를 비교한다: 원시 픽셀(기준), 지상 진실 의미 지도(오라클), 실시간 처리에서 유도된 재구성된 의미 지도(RSM)

실험 결과

연구 질문

• RQ1 실시간으로 재구성된 의미 지도를 DQN에 보강하면, 도마다와 같은 복잡한 3D 게임에서 학습 효율성과 정책 성능이 향상되는가?
• RQ2 재구성된 의미 지도(RSM)를 사용하는 DQN 에이전트의 성능은 지상 진실 의미 지도(OSM)를 사용하는 DQN과 표준 DQN에 비해 어떻게 비교되는가?
• RQ3 의미적 및 위상적 추상화가 3D 환경에서 부분 관측과 희박한 보상의 영향을 어느 정도 줄이는가?
• RQ4 의미 지도의 통합이 다양한 초기 상태에서의 일반화를 향상시키는 더 견고한 정책을 유도하는가?
• RQ5 제안된 프레임워크는 도메인 특화 수정 없이도 유사한 공간적 및 객체 수준의 구조를 가진 다른 3D 환경에 적용 가능한가?

주요 결과

• 재구성된 의미 지도(RSM)로 보강된 DQN 에이전트는 평균 실행 길이 측면에서 표준 DQN 기준보다 유의미하게 뛰어난 성능을 보이며 생존성과 탐색 능력 향상을 입증했다.
• 불완전한 객체 탐지 및 SLAM에도 불구하고, RSM 보강 에이전트는 표준 DQN보다 오라클 의미 지도(OSM) 기준에 훨씬 가까운 성능을 기록하여 실제 비전 오류에 대한 내성성을 입증했다.
• 더 단순한 DQN 아키텍처를 사용함에도 불구하고, 우선순위 경험 재현과 듀얼 네트워크를 결합한 최신 기술 DQN 버전(dDQN)보다 도모 환경에서 RSM 보강 DQN이 뛰어난 성능을 보였다.
• 의미 지도를 사용하는 에이전트는 누적된 위상적 환경 이해 능력을 바탕으로, 임의의 초기 위치가 설정된 시나리오에서 더 나은 일반화 성능를 보였다.
• RSM와 OSM 간의 성능 격차는 측정 가능했지만 비교적 작았으며, 이는 현재의 오프더쉐프 컴퓨터 비전 파이프라인으로도 이 분야에서 효과적인 지도 재구성에 충분하다는 것을 시사한다.
• 이 방법은 기존 DRL 향상 기법(예: 우선순위 경험 재현, 듀얼 네트워크)과 수직적 관계를 유지하므로, 향후 통합을 통해 추가 성능 향상을 기대할 수 있다.