[논문 리뷰] A Critical Investigation of Deep Reinforcement Learning for Navigation

Vikas Dhiman, Shurjo Banerjee외 3명|arXiv (Cornell University)|2018. 02. 07.

Reinforcement Learning in Robotics참고 문헌 17인용 수 22

한 줄 요약

이 논문은 다양한 환경에서 탐색과 지도 정보를 활용하는 능력을 체계적으로 평가함으로써 딥 강화학습(DRL) 에이전트의 탐색 능력을 비판적으로 평가한다. 자체 개발한 실험 세트를 사용하여, DRL 에이전트가 동일한 지도에서 훈련 및 테스트를 받을 경우에만 지도 지식을 효과적으로 수집하고 활용할 수 있음을 발견하였으며, 새로운 지도나 랜덤화된 목표를 가진 정적 지도에서도 일반화하지 못하고 최적 경로 효율성에 도달하지 못함을 확인하였다.

ABSTRACT

The navigation problem is classically approached in two steps: an exploration step, where map-information about the environment is gathered; and an exploitation step, where this information is used to navigate efficiently. Deep reinforcement learning (DRL) algorithms, alternatively, approach the problem of navigation in an end-to-end fashion. Inspired by the classical approach, we ask whether DRL algorithms are able to inherently explore, gather and exploit map-information over the course of navigation. We build upon Mirowski et al. [2017] work and introduce a systematic suite of experiments that vary three parameters: the agent's starting location, the agent's target location, and the maze structure. We choose evaluation metrics that explicitly measure the algorithm's ability to gather and exploit map-information. Our experiments show that when trained and tested on the same maps, the algorithm successfully gathers and exploits map-information. However, when trained and tested on different sets of maps, the algorithm fails to transfer the ability to gather and exploit map-information to unseen maps. Furthermore, we find that when the goal location is randomized and the map is kept static, the algorithm is able to gather and exploit map-information but the exploitation is far from optimal. We open-source our experimental suite in the hopes that it serves as a framework for the comparison of future algorithms and leads to the discovery of robust alternatives to classical navigation methods.

연구 동기 및 목표

• 딥 강화학습(DRL) 에이전트가 탐색 과정에서 환경의 지도 정보를 내재적으로 학습하여 탐색하고 활용할 수 있는지 조사하기.
• 다양한 미로 구조, 스폰 위치, 목표 위치에서 DRL 에이전트의 일반화 능력을 평가하기.
• 목표가 랜덤화되었을 때 DRL 에이전트가 근접 최단 경로를 얼마나 잘 발견하고 따라갈 수 있는지 측정하기.
• 탐색과 이용 성능을 명시적으로 분리하기 위해 새로운 평가 지표인 Latency-1:>1 및 Distance-inefficiency를 개발하고 적용하기.
• 향후 DRL 탐색 알고리즘을 벤치마킹하기 위한 포괄적인 실험 프레임워크를 오픈소스로 제공하기.

제안 방법

• 에이전트의 출발 위치, 목표 위치, 미로 구조를 변화시켜 세 가지 핵심 매개변수를 조절하는 체계적인 실험 세트를 구축하였다.
• Mirowski 등(2017)의 NavA3C+D1 D2L 알고리즘을 사용하여 고정 및 랜덤 지도 구성에서 DRL 에이전트를 훈련시켰다.
• 두 가지 새로운 평가 지표를 도입하였다: 이용 능력을 측정하기 위해 Latency-1:>1(첫 목표 도착 시간 / 평균 재방문 시간의 비율), 경로 최적성 평가를 위해 Distance-inefficiency(실제 경로 길이 / 최단 경로 길이)를 사용하였다.
• 네 가지 설정에서 실험을 수행하였다: 동일 지도(정적), 정적 지도에서 목표 랜덤화, 정적 지도에서 스폰 랜덤화, 1000개의 지도에서 훈련하고 100개의 새로운 지도에서 테스트.
• 경로 계획에 효과적인지 분석하기 위해 기울기 기반 주의 시각화(LIME 스타일)를 사용하여 탐색 중 에이전트가 주목하는 시각적 영역을 분석하였다.
• 통계적 신뢰성을 확보하기 위해 각 테스트 조건당 100 에피소드의 결과를 보고하고 표준편차를 기재하였다.

실험 결과

연구 질문

• RQ1 동일한 지도 구조에서 훈련 및 테스트를 받을 경우 DRL 에이전트는 지도 정보를 효과적으로 수집하고 활용할 수 있는가?
• RQ2 DRL 에이전트는 새로운 미로 구조로의 지도 탐색 및 활용 능력 일반화 능력이 어느 정도까지 가능한가?
• RQ3 목표 위치가 랜덤화되었을 때, 에이전트의 학습된 지도 표현 활용 능력은 어떻게 영향을 받는가?
• RQ4 목표가 랜덤화되었을지라도 정적 지도에서 DRL 에이전트는 최단 경로에 얼마나 가까이 도달하는가?
• RQ5 탐색 중 DRL 에이전트는 어떤 시각적 특징에 주목하며, 이러한 주의가 효과적인 경로 계획과 관련이 있는가?

주요 결과

• 동일한 지도에서 훈련 및 테스트를 수행할 경우 DRL 에이전트는 Latency-1:>1 비율이 1을 초과하여 지도 정보를 효과적으로 이용하는 것으로 확인되었다.
• 정적 지도에서 목표가 랜덤화된 경우, 에이전트는 Distance-inefficiency 약 1을 기록하여 탐색 과정에서 근접 최적 경로를 발견한 것으로 나타났다.
• 1000개의 다른 지도에서 훈련하고 100개의 새로운 지도에서 테스트한 경우, 에이전트는 일반화에 실패하였다: Square 지도에서는 단지 50.4% (±12.8%)의 비율로 최단 경로를 취하였다.
• Goal 지도에서는 최단 경로를 취하는 비율이 단지 42.6% (±35.1%)에 불과하여, 심지어 광범위한 훈련 후에도 랜덤 성능 수준 이하임을 시사하며, 성능이 랜덤과 유사함을 나타냈다.
• 주의 시각화 결과, 에이전트가 입력 이미지의 중심 밴드에만 집중하는 것으로 나타나, 전체 지도 이해보다는 제한된 시각적 단서에 의존하는 것으로 보였다.
• 고정 환경에서 목표를 신속히 재방문하는 법을 학습했음에도 불구하고, 목표가 랜덤화되었을 경우 DRL 에이전트는 지도 구조를 최적 경로 계획에 활용하지 못하는 것으로 나타났다.