[논문 리뷰] Teaching a Machine to Read Maps with Deep Reinforcement Learning

Gino Brunner, Oliver Richter외 2명|arXiv (Cornell University)|2017. 11. 20.

Robotics and Sensor-Based Localization인용 수 16

한 줄 요약

이 논문은 A3C, 순환 위치 추정 셀, 그리고 국소 맵 추정 모듈을 조합한 모듈러 아키텍처를 사용하여 2D 지도를 읽고 3D 미로를 탐색하는 딥 강화학습 에이전트를 제안한다. 에이전트는 시각 입력, 방향, 지도 피드백을 융합하여 자신을 위치 파악하고 최단 경로를 계획함으로써, 훈련 중에 본 바보다 최대 세 배 더 큰 미로에서도 견고한 일반화 성능을 달성한다.

ABSTRACT

The ability to use a 2D map to navigate a complex 3D environment is quite remarkable, and even difficult for many humans. Localization and navigation is also an important problem in domains such as robotics, and has recently become a focus of the deep reinforcement learning community. In this paper we teach a reinforcement learning agent to read a map in order to find the shortest way out of a random maze it has never seen before. Our system combines several state-of-the-art methods such as A3C and incorporates novel elements such as a recurrent localization cell. Our agent learns to localize itself based on 3D first person images and an approximate orientation angle. The agent generalizes well to bigger mazes, showing that it learned useful localization and navigation capabilities.

연구 동기 및 목표

• 에이전트가 2D 지도와 1인칭 시각 입력만을 사용하여 훈련 중에 본 바가 없는 3D 미로에서 탐색을 학습하도록 하기.
• 탐색 과제에서 희박한 보상 문제를 해결하기 위해 지도 추정 및 위치 추정을 위한 보조 학습을 통합하기.
• 지역화, 지도 해석, 경로 계획과 같은 하위 작업을 전담된 구성 요소가 해결하는 모듈러 강화학습 프레임워크 개발하기.
• 온정책 및 오프정책 학습을 조합한 우선순위 재생을 사용하여 작은 미로에서 훈련함으로써 더 큰 미로로의 일반화 향상하기.

제안 방법

• 에이전트는 반응형 정책에 대해 온정책 학습을, 지역화 및 맵핑 모듈에 대해 우선순위 재생을 사용한 오프정책 학습을 적용한 수정된 A3C 아키텍처를 사용한다.
• 순환 위치 추정 셀은 학습된 국소 맵과 래스터화된 글로벌 맵 간의 상관관계를 이용하여 에이전트의 위치를 추정하며, 상관관계 점수에 대한 소프트맥스를 사용한다.
• 맵핑 모듈은 3D RGB 입력에서 국소 2D 맵을 생성하며, 이는 이동 추정치와 학습 가능한 피드백 가중치 λ를 사용하여 업데이트된다.
• 국소 맵은 추정된 이동 거동을 사용해 이전 추정치를 이동시키고, 클리핑된 [−0.5, +0.5] 범위 내에서 피드백 신호와 융합함으로써 정밀해진다.
• 최단 경로 계획 알고리즘은 격자형 미로에서 반복적 곱셈 업데이트를 사용하여 목표 방향을 계산하며, 출구에 가까운 정도에 따라 값을 할당한다.
• 에이전트는 이웃 셀들에 대한 날카운 소프트맥스를 사용하여 행동 확률을 출력하며, 최종 정책이 목표 향한 탐색을 이끈다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트가 상태에 대한 명시적 지도 없이 시각 입력과 2D 지도만을 사용하여 3D 미로 내에서 자신의 위치를 추정할 수 있는가?
• RQ2 국소 맵 추정과 같은 보조 과제는 에이전트가 더 큰, 훈련 중에 본 바가 없는 미로로의 일반화 능력을 어떻게 향상시키는가?
• RQ3 순환 위치 추정 셀의 통합은 위치 추정 정확도와 탐색 성능에 어느 정도 향상 효과를 미치는가?
• RQ4 반응형 정책 학습과 중간 단계의 하위 과제 모듈(지역화, 지도 피드백)을 조합한 모듈러 아키텍처는 희박한 보상 탐색 과제에서 엔드 투 엔드 학습을 능가하는가?
• RQ5 지도 피드백과 이동 추정치의 사용은 시간이 지남에 따라 국소 맵 구축의 안정성과 정확도를 어느 정도 향상시키는가?

주요 결과

• 에이전트는 훈련 중에 본 최대 크기의 미로보다 세 배 더 큰 미로를 성공적으로 탐색하여 강력한 일반화 능력을 입증한다.
• 순환 위치 추정 셀은 정확한 위치 추정을 가능하게 하며, 21×21 크기의 미로에서 높은 신뢰도로 자신의 위치를 정확히 식별한다(추정 위치 [23,17], 실제 위치 [22,17]).
• 시각적 신호와 이동 추정치의 통합 덕분에, 에이전트의 콈터가 정확하지 않더라도 맵핑 모듈이 견고한 국소 맵을 생성한다.
• 지도 피드백과 이동 기반 맵 이동을 위한 보조 과제의 사용은 국소 맵 추정의 안정성과 정확도를 크게 향상시킨다.
• 에이전트는 지도 기호를 보상과 연관지워 학습한다—목표 지점은 양의 보상, 벽은 음의 보상으로 인식함으로써 효과적인 지도 해석 능력을 보인다.
• 반복적 값 전파 기반 최단 경로 계획 알고리즘은 높은 정밀도로 최적의 행동 방향을 계산할 수 있게 하며, 정책 확률 분포를 통해 이를 입증한다.