[논문 리뷰] Learning to Navigate in Complex Environments

Piotr Mirowski, Razvan Pascanu외 10명|arXiv (Cornell University)|2016. 11. 11.

Reinforcement Learning in Robotics인용 수 366

한 줄 요약

이 논문은 데이터 효율성과 성능을 높이기 위해 보조 작업(깊이 예측과 루프 클로저)을 사용하여 3D 미로에서의 항해를 위한 엔드 투 엔드 강화학습 에이전을 학습시키고, 동적 목표 설정에서 인간에 근접한 성능을 달성한다.

ABSTRACT

Learning to navigate in complex environments with dynamic elements is an important milestone in developing AI agents. In this work we formulate the navigation question as a reinforcement learning problem and show that data efficiency and task performance can be dramatically improved by relying on additional auxiliary tasks leveraging multimodal sensory inputs. In particular we consider jointly learning the goal-driven reinforcement learning problem with auxiliary depth prediction and loop closure classification tasks. This approach can learn to navigate from raw sensory input in complicated 3D mazes, approaching human-level performance even under conditions where the goal location changes frequently. We provide detailed analysis of the agent behaviour, its ability to localise, and its network activity dynamics, showing that the agent implicitly learns key navigation abilities.

연구 동기 및 목표

• 탐색을 명시적 SLAM/MSM 매핑 없이 RL 문제로 학습하도록 동기를 부여한다.
• 다중 모달 입력을 활용하는 보조 작업을 도입해 데이터 효율성과 성능을 개선한다.
• 보조 깊이 예측과 루프 클로저 분류가 에이전트의 동적 미로 탐색에 도움을 준다는 것을 입증한다.
• 보조 작업이 내부 표현과 위치 추정 능력에 어떤 영향을 주는지 분석한다.
• 항해 과제에서 기억 및 표현 학습이 어떻게 나타나는지에 대한 통찰을 제공한다.]
• method:[

제안 방법

• 합성곱 인코더 다음에 LSTM 기반 메모리를 갖춘 에이전트-비평가(A3C) 사용.
• RGB 입력으로부터 저해상도 깊이 맵을 재구성하기 위한 보조 깊이 예측을 포함.
• 결합된 2D 속도 정보를 사용해 재방문을 감지하는 루프 클로저 예측 포함.
• 두 가지 깊이 형식: 합성곱 특징에서 깊이를 예측(D1)하거나 최상위 LSTM 층에서(D2); 루프 클로저 손실(L)과 비교.
• RL 손실, 깊이 손실(βd1, βd2) 및 루프 클로저 손실(βl)의 가중 합으로 학습.
• 정적 및 무작위 목표 배치를 가진 다섯 가지 3D 미로 환경에서 메모리 및 입력이 다른 Nav A3C 아키텍처를 사용해 평가.

실험 결과

연구 질문

• RQ1 보조 작업이 데이터 효율성 및 성능을 개선할 수 있는가?
• RQ2 자기지도 보조 작업으로서 깊이 예측이 탐색의 기하학 및 장애물 회피를 학습하는 데 도움이 되는가?
• RQ3 루프 클로저 예측이 동적 미로에서 더 나은 공간 위치 추정과 기억 통합을 촉진하는가?
• RQ4 어떤 보조 작업 구성(D1, D2, L, 또는 조합)이 최고의 항해 성능과 위치추정을 가져오는가?
• RQ5 속도, 행동, 보상 입력이 포함된 스택형 LSTM의 기억 아키텍처가 복잡한 미로 탐색에 어떻게 영향을 주는가?

주요 결과

Maze	Agent	AUC	Score	% Human	Goals	Position Acc	Latency 1:>1	Score
I-Maze	FF A3C*	75.5	98	-	94/100	42.2	9.3s:9.0s	102
I-Maze	LSTM A3C*	112.4	244	-	100/100	87.8	15.3s:3.2s	203
I-Maze	Nav A3C*+ D1 L	169.7	266	-	100/100	68.5	10.7s:2.7s	252
I-Maze	Nav A3C+ D2	203.5	268	-	100/100	62.3	8.8s:2.5s	269
I-Maze	Nav A3C+ D1D2L	199.9	258	-	100/100	61.0	9.9s:2.5s	251
Static 1	FF A3C*	41.3	79	83	100/100	64.3	8.8s:8.7s	84
Static 1	LSTM A3C*	44.3	98	103	100/100	88.6	6.1s:5.9s	110
Static 1	Nav A3C+ D2	104.3	119	125	100/100	95.4	5.9s:5.4s	122
Static 1	Nav A3C+ D1D2L	102.3	116	122	100/100	94.5	5.9s:5.4s	123
Static 2	FF A3C*	35.8	81	47	100/100	55.6	24.2s:22.9s	111
Static 2	LSTM A3C*	46.0	153	91	100/100	80.4	15.5s:14.9s	155
Static 2	Nav A3C+ D2	157.6	200	116	100/100	94.0	10.9s:11.0s	202
Static 2	Nav A3C+ D1D2L	156.1	192	112	100/100	92.6	11.1s:12.0s	192
Random Goal 1	FF A3C*	37.5	61	57.5	88/100	51.8	11.0:9.9s	64
Random Goal 1	LSTM A3C*	46.6	65	61.3	85/100	51.1	11.1s:9.2s	66
Random Goal 1	Nav A3C+ D2	71.1	96	91	100/100	85.5	14.0s:7.1s	91
Random Goal 1	Nav A3C+ D1D2L	64.2	81	81	81/100	83.7	11.5s:7.2s	74.6
Random Goal 2	FF A3C*	50.0	69	40.1	93/100	30.0	27.3s:28.2s	77
Random Goal 2	LSTM A3C*	37.5	57	32.6	74/100	33.4	21.5s:29.7s	51.3
Random Goal 2	Nav A3C+ D1L	62.5	90	52	90/100	51.0	17.9s:18.4s	106
Random Goal 2	Nav A3C+ D2	82.1	103	59	79/100	72.4	15.4s:15.0s	109
Random Goal 2	Nav A3C+ D1D2L	78.5	91	53	74/100	81.5	15.9s:16.0s	102

• 보조 작업은 학습 속도를 크게 높이고 특히 정적 미로에서 성능을 향상시킨다.
• 정책의 LSTM(D2)에서의 깊이 예측은 강력한 항해 성능과 위치 추정 이점을 가져온다.
• 깊이 예측의 분류 형태는 이 설정에서 회귀보다 더 빠르게 수렴한다.
• 루프 클로저 예측은 깊이를 보완하여 속도 통합 및 공간 추론에 도움을 주며, 결합 손실이 종종 단일 작업보다 우수하다.
• 보조 손실을 가진 Nav A3C는 정적 미로에서 인간 수준의 성능에 근접하고 동적/무작위 목표 미로에서도 상당한 점수를 달성한다.
• 내부 표현에서 학습된 위치 디코더가 더 나은 위치 추정과 더 높은 작업 보상 간의 상관 관계를 보인다.