[논문 리뷰] Challenges of Context and Time in Reinforcement Learning: Introducing Space Fortress as a Benchmark

Akshat Agarwal, Ryan M. Hope외 1명|arXiv (Cornell University)|2018. 09. 06.

Reinforcement Learning in Robotics참고 문헌 27인용 수 5

한 줄 요약

이 논문은 맥락에 따라 전략을 급격히 전환해야 하고 시간에 민감한 요소를 포함하는 강화학습 기준 평가 벤치마크로 '스페이스 포트리스(Space Fortress)'를 소개한다. 이는 실제 RL 응용 분야에서 중요하지만 오랫동안 간과되어 온 두 가지 요소이다. PPO, A2C, Rainbow와 같은 최신 알고리즘들이 희박한 보상 환경에서 게임을 학습하지 못하는 반면, 맥락 식별을 보완하기 위해 보상 형태를 조정하면 성능이 크게 향상됨을 보여주며, 이는 맥락에 민감하지 못함이 주요 실패 원인임을 시사한다. 또한, 전이 학습을 통해 적용해도 시간 이해 능력은 여전히 제한되어 있음을 확인한다.

ABSTRACT

Research in deep reinforcement learning (RL) has coalesced around improving performance on benchmarks like the Arcade Learning Environment. However, these benchmarks conspicuously miss important characteristics like abrupt context-dependent shifts in strategy and temporal sensitivity that are often present in real-world domains. As a result, RL research has not focused on these challenges, resulting in algorithms which do not understand critical changes in context, and have little notion of real world time. To tackle this issue, this paper introduces the game of Space Fortress as a RL benchmark which incorporates these characteristics. We show that existing state-of-the-art RL algorithms are unable to learn to play the Space Fortress game. We then confirm that this poor performance is due to the RL algorithms' context insensitivity and reward sparsity. We also identify independent axes along which to vary context and temporal sensitivity, allowing Space Fortress to be used as a testbed for understanding both characteristics in combination and also in isolation. We release Space Fortress as an open-source Gym environment.

연구 동기 및 목표

• 깊은 강화학습에서 갑작스러운 맥락 기반 전략 전환과 시간 민감성에 중점을 둔 벤치마크가 부족한 문제를 해결하기 위해.
• 희박한 보상과 복잡한 타이밍 제약 조건이 존재하는 환경에서 현재 최신 알고리즘들이 이러한 능력을 요구하는 환경에서 학습에 실패함을 입증하기 위해.
• 스페이스 포트리스에서 맥락과 시간 민감성의 축을 식별하고 분리하여 이러한 과제에 집중적인 연구를 가능하게 하기 위해.
• 희박한 보상이 아니라 맥락에 민감하지 못함이 이 벤치마크에서 RL 에이전트 성능이 열악한 주요 원인임을 검증하기 위해.
• 스페이스 포트리스를 위한 오픈소스 Gym 환경을 공개하여 맥락과 시간 민감성 강화학습에 대한 재현 가능한 연구를 가능하게 하기 위해.

제안 방법

• 원래의 스페이스 포트리스 아케이드 게임을 기반으로 한 맞춤형 RL 환경을 설계하여, 포트리스가 취약해지면 즉각적인 전술 전환을 요구한다.
• 실제 희박한 피드백을 모방하기 위해 포트리스 파괴와 성공적인 듀얼 샷에만 보상을 주는 희박한 보상 구조를 구현한다.
• 맥락 전환을 쉽게 하기 위해 취약 상태 도달 및 포트리스 파괴에 보너스를 부여하는 조밀한 보상 형태를 도입한다.
• 메모리의 영향을 평가하기 위해 PPO에 순환(GRU) 및 피드포워드 신경망 아키텍처를 사용한다.
• 250ms 발사 간격에서 학습된 정책을 다른 간격(125, 400, 600ms)으로 재초기화하여 전이 학습 실험을 수행함으로써 시간 일반화 능력을 평가한다.
• RL 에이전트와의 비교를 위해 인간 성능 기준을 확보하기 위해 인간의 성능 벤치마크를 수집한다.

실험 결과

연구 질문

• RQ1 희박한 보상 환경에서 맥락 기반 전략 전환과 시간 제약 조건이 존재하는 상황에서 최신 딥 강화학습 알고리즘이 스페이스 포트리스를 학습할 수 있는가?
• RQ2 맥락 전환을 강조하는 보상 형태 조정이 스페이스 포트리스에서 학습 성능 향상에 얼마나 기여하는가?
• RQ3 SOTA RL 에이전트의 실패 원인이 희박한 보상 구조인지, 맥락에 민감하지 못함인가?
• RQ4 다른 핵심 시간 간격 간 전이 학습을 통해 RL 에이전트가 시간을 독립 변수로 인식하는가?
• RQ5 딥 RL 에이전트의 성능은 이 맥락과 시간에 민감한 과제에서 인간 성능과 비교해 어떻게 되는가?

주요 결과

• PPO, A2C, Rainbow와 같은 최신 RL 알고리즘들이 기본 희박한 보상 설정에서 스페이스 포트리스를 학습하지 못하며, 거의 0점에 가까운 점수를 기록한다.
• 취약 상태 전환을 강조하는 보상 형태 조정(예: 취약 상태 도달 보너스)을 도입한 후, GRU 아키텍처를 가진 PPO는 인간 성능을 초월하는 최종 점수를 기록하며 맥락에 민감하지 못함이 주요 실패 원인임을 시사한다.
• GRU 아키텍처를 가진 PPO 에이전트는 피드포워드 버전보다 더 빠르게 학습하고 더 높은 최종 점수를 기록하며, 기억 기능이 맥락 인식을 향상시킴을 시사한다.
• 250ms 간격에서 학습된 정책을 다른 간격(125, 400, 600ms)으로 전이 학습한 결과 부분적인 양성 전이가 관찰되지만, 성능은 빠르게 포화에 도달하고 원래 250ms 정책 수준에 도달하지 못함으로써 시간 이해 능력이 약함을 시사한다.
• 인간 기준 벤치마크는 전문 플레이어가 일관되게 100~120점의 점수를 기록함을 보여주며, 이는 보상 형태 조정을 거친 PPO 에이전트가 초월함을 확인함으로써 현재 RL 알고리즘이 간섭 없이 인간 수준 성능을 달성하지 못함을 확인한다.
• 본 연구는 스페이스 포트리스가 맥락과 시간 민감성 평가에 유효하고 도전적인 벤치마크임을 확인하였으며, 이러한 차원을 분리하기 위해 수정 가능한 매개변수를 제공함을 확인한다.