[논문 리뷰] Mask Atari for Deep Reinforcement Learning as POMDP Benchmarks

Yang Shao, Quan Kong외 4명|arXiv (Cornell University)|2022. 03. 31.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

Mask Atari는 부분적으로 관찰 가능한 마르코프 결정 과정(POMDP)에서 능동적 정보 수집(AIG)을 가능하게 하고 시각적 환경의 시야 제한을 시뮬레이션하기 위해 제어 가능하고 이동 가능한 마스크를 갖춘 Atari 2600 게임 기반의 새로운 DRL 벤치마크를 제안한다. 이 벤치마크는 인간과 유사한 수용체 영역을 모델링하여 인지 성능를 고립시키며, 실험 결과 보조 보상 기반의 정보 수집 행동이 학습을 가속화하지만 최적의 정책으로 이어지지 않을 수 있음을 보여준다.

ABSTRACT

We present Mask Atari, a new benchmark to help solve partially observable Markov decision process (POMDP) problems with Deep Reinforcement Learning (DRL)-based approaches. To achieve a simulation environment for the POMDP problems, Mask Atari is constructed based on Atari 2600 games with controllable, moveable, and learnable masks as the observation area for the target agent, especially with the active information gathering (AIG) setting in POMDPs. Given that one does not yet exist, Mask Atari provides a challenging, efficient benchmark for evaluating the methods that focus on the above problem. Moreover, the mask operation is a trial for introducing the receptive field in the human vision system into a simulation environment for an agent, which means the evaluations are not biased from the sensing ability and purely focus on the cognitive performance of the methods when compared with the human baseline. We describe the challenges and features of our benchmark and evaluate several baselines with Mask Atari.

연구 동기 및 목표

• 복잡한 환경에서 능동적 정보 수집(AIG)에 초점을 맞춘 효율적이고 시각적으로 풍부한 POMDP 벤치마크의 부족을 해결하기 위해.
• 에이전트의 관측 창으로서 이동 가능하고 학습 가능한 마스크를 도입하여 강화학습에서 인간과 유사한 수용체 영역을 시뮬레이션하기 위해.
• 감지 한계에서 인지 성능를 분리하여 인간 기준과의 공정한 비교를 가능하게 하는 벤치마크를 제공하기 위해.
• 부분적으로 관찰 가능한 고차원 시각적 환경에서 DRL 모델과 히وري스틱 AIG 전략의 효과성을 평가하기 위해.
• 마스크의 크기, 속도, 수량 등의 파rameter에 대한 분석을 통해 학습 성능에 미치는 영향을 이해하기 위해 분할 연구(ablation studies)를 가능하게 하기 위해.

제안 방법

• 에이전트의 시야를 정의하는 제어 가능한 마스크를 추가하여 Atari 2600 게임을 수정함으로써 Mask Atari를 구축함.
• 추가적인 행동 공간을 통해 마스크의 동적 이동을 가능하게 하여 에이전트가 환경을 능동적으로 탐색하도록 함.
• 크기, 속도, 위치를 사용자 정의할 수 있는 다중 마스크를 지원하는 마스크 인터페이스를 설계함.
• 정보 수집 행동을 장려하기 위해 보조 보상 함수를 도입: 이미지의 낯설음 기반 보상과 마스크 커버리지 확장 기반 보상.
• 표준 DRL 알고리즘(예: A2C-CNN)을 사용하여 여러 게임에서 에이전트를 훈련하고 성능을 평가함.
• 마스크의 크기, 속도, 수량에 대한 분할 연구를 수행하여 학습 및 최종 점수에 미치는 영향을 분 析함.

실험 결과

연구 질문

• RQ1 마스크 크기가 시각적 풍부한 POMDP 환경에서 학습 성능와 최종 점수에 어떤 영향을 미치는가?
• RQ2 마스크 이동 속도가 AIG 과제의 난이도와 에이전트 성능에 어떤 영향을 미치는가?
• RQ3 마스크 수를 늘일 경우 정보 접근성과 행동 공간 복잡성 간의 트레이드오프는 어떻게 변화하는가?
• RQ4 정보 수집 행동 기반의 보조 보상이 Mask Atari에서 DRL 에이전트의 학습을 가속화하는가?
• RQ5 AIG 설정의 내부 구조가 최종 정책 품질을 훼손하지 않으면서 학습을 얼마나 빠르게 할 수 있는가?

주요 결과

• 마스크 크기를 50에서 100 픽셀로 늘임으로써 대부분의 게임에서 성능 향상을 관찰했으며, MsPacman에서는 평균 점수가 20% 증가함.
• 마스크 이동 속도를 느리게(10 픽셀/프레임) 설정하면 일반적으로 게임 난이도가 증가하지만, 마스크 크기 변화에 비해 영향이 덜 두드러짐.
• 마스크 속도를 10에서 50 픽셀/프레임로 늘여도 성능에 미치는 영향은 마스크 크기 변화에 비해 덜 심각함을 확인하여, 속도보다 시야 범위의 크기가 더 중요함을 시사함.
• 두 개의 마스크를 사용한 결과 반은 게임에서 점수가 향상되었고, 반은 성능이 악화되어, 확장된 시야와 행동 공간 복잡성 증가 사이의 트레이드오프가 존재함을 확인함.
• 정보 수집을 위한 보조 보상은 Asterix, Breakout, MsPacman에서 학습을 가속화했지만, 최종 정책이 최적화되지 않음.
• 시야 범위 확장 보상 역시 학습을 가속화했지만, 최종 성능이 저하됨을 확인하여, AIG 기반 보상은 학습 속도를 높일 수 있지만 최종 정책 품질에 악영향을 줄 수 있음을 시사함.