[논문 리뷰] Deep Reinforcement Learning for Doom using Unsupervised Auxiliary Tasks

Georgios Papoudakis, Kyriakos C. Chatzidimitriou외 1명|arXiv (Cornell University)|2018. 07. 05.

Reinforcement Learning in Robotics참고 문헌 4인용 수 5

한 줄 요약

이 논문은 비지도 보조 작업—가치 함수 재생, 보상 예측, 픽셀 제어—를 비동기적 이점 작동자-비평가(A3C) 프레임워크 내에서 사용하여 복잡한 1인칭 슈팅 게임 도움(Doom)을 위한 딥 강화학습 에이전트를 제안한다. 병합된 에이전트는 알려지지 않은 환경에서 전문화된 동작 에이전트를 능가하며, 핵심 지표에서 유의미한 향상과 더불어 더 높은 물체 수집 성능을 기록하여 보조 학습을 통한 일반화 능력 향상을 입증한다.

ABSTRACT

Recent developments in deep reinforcement learning have enabled the creation of agents for solving a large variety of games given a visual input. These methods have been proven successful for 2D games, like the Atari games, or for simple tasks, like navigating in mazes. It is still an open question, how to address more complex environments, in which the reward is sparse and the state space is huge. In this paper we propose a divide and conquer deep reinforcement learning solution and we test our agent in the first person shooter (FPS) game of Doom. Our work is based on previous works in deep reinforcement learning and in Doom agents. We also present how our agent is able to perform better in unknown environments compared to a state of the art reinforcement learning algorithm.

연구 동기 및 목표

• 도움과 같은 복잡하고 보상이 희박한 환경에서 효과적인 에이전트를 훈련하는 데 도전하는 것—기존의 딥 강화학습은 높은 상태 공간과 지연된 보상으로 인해 어려움을 겪는다.
• 추가적인 감독 없이도 비지도 보조 작업을 통합하여 샘플 효율성과 일반화 능력을 향상시키는 것.
• 행동과 주행을 위한 별도의 에이전트를 훈련한 후 하나의 에이전트로 융합하는 분할-통합 접근 방식이 알려지지 않은 환경에서 더 나은 성능을 내는지 평가하는 것.
• 보조 작업이 고차원의 시각적 환경, 예를 들어 도움과 같은 환경에서 특징 학습과 정책 성능을 향상시키는지 입증하는 것.

제안 방법

• 정책과 가치 네트워크에 공유된 컨볼루션 계층을 사용하는 비동기적 이점 작동자-비평가(A3C) 프레임워크를 사용하며, 행동과 주행을 위한 별도의 출력 헤드를 갖춘다.
• 세 가지 비지도 보조 작업을 도입한다: 가치 함수 재생(경험 재생을 통해 가치 함수 학습을 안정화), 보상 예측(상태 전이로부터 향후 보상을 예측), 픽셀 제어(잠재 표현에서 입력 프레임을 재구성).
• 보조 작업은 다중 작업 손실 함수를 통해 메인 강화학습 목표와 함께 동시에 훈련되며, 총 손실은 정책 손실, 가치 손실 및 보조 작업 손실을 조합하여 구성된다.
• 정책과 가치 네트워크는 병렬 환경에서 수집된 경험을 기반으로 확률적 경사 하강법을 사용하여 훈련되며, 글로벌 네트워크에 비동기적으로 업데이트된다.
• 주행 에이전트는 많은 수집 가능한 물체가 있는 풍부한 보상 환경에서 사전 훈련되며, 행동 에이전트는 많은 적이 있는 환경에서 최대 살상 수를 극대화하도록 훈련된다.
• 두 에이전트의 정책 헤드를 융합하여 병합된 에이전트를 구성함으로써 적과의 전투와 물체 수집을 동시에 수행할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 비지도 보조 작업은 도움과 같은 복잡한 3D 환경에서 딥 강화학습의 샘플 효율성과 일반화 능력을 향상시킬 수 있는가?
• RQ2 행동과 주행을 위한 전문화된 에이전트를 별도로 훈련한 후 하나의 에이전트로 융합하는 분할-통합 접근 방식이 성능 향상에 기여하는가?
• RQ3 희박한 보상이 존재하는 알려지지 않은 환경에서 병합된 에이전트의 성능은 전문화된 행동 에이전트보다 뛰어나게 되는가?
• RQ4 보조 작업은 추가적인 보상 신호 없이 특징 학습과 정책 성능 향상에 얼마나 기여하는가?

주요 결과

• 병합된 에이전트는 알려진 환경 3(Known 3)에서 116.8개의 물체를 수집한 반면 행동 에이전트는 7.57번의 살상, 6.53번의 사망을 기록하여 주행 및 물체 수집 능력에서 뛰어난 성능을 보였다.
• 알려지지 않은 환경에서 병합된 에이전트는 물체 수집(Unknown 1에서 20.19 vs. 5.46)과 살상 수(Unknown 1에서 5.89 vs. 4.99)에서 행동 에이전트를 능가했으며, 대부분의 지표에서 통계적 유의성(p < 0.05)을 보였다.
• 알려진 환경 3에서 병합된 에이전트는 116.8개의 물체를 수집한 반면 행동 에이전트는 62.4개를 수집했으며, p-값은 6.08×10⁻⁸로 매우 높은 유의성 수준을 보였다.
• 행동 에이전트는 예상대로 알려진 맵에서 살상 수와 사망 수에서 더 나은 성능을 보였음(예: Known 3에서 14.7번의 살상), 그러나 물체 수집 능력에서는 열등했다.
• 통계적 t-검정을 통해 모든 환경에서 물체 수집 및 사망 수에서의 향상이 유의미함(p < 0.05)을 확인했으며, Known 2에서 물체 수집의 p-값은 최소 1.56×10⁻¹¹까지 낮아졌다.
• 보조 작업의 포함으로 정책의 안정성과 일반화 능력이 향상되어, 희박한 보상에도 불구하고 알려지지 않은 지도에 효과적으로 적응할 수 있었다.