[논문 리뷰] The PlayStation Reinforcement Learning Environment (PSXLE)

Carlos Purves, Cătălina Cangea외 1명|arXiv (Cornell University)|2019. 12. 12.

Artificial Intelligence in Games참고 문헌 14인용 수 8

한 줄 요약

이 논문은 원시 오디오, RAM, 디스플레이 출력을 포함한 풍부한 상태 표현을 노출하는 수정된 플레이스테이션 1 에뮬레이터 기반의 강화학습 환경인 PSXLE를 소개한다. 이 환경은 OpenAI Gym 호환 인터페이스를 통해 Kula World와 같은 복잡한 게임에서 에이전트를 훈련시킬 수 있으며, 오디오를 통합한 상태 공간이 전통적인 아타리 기반 벤치마크를 넘어서 강화학습 연구에서 학습 효율성과 알고리즘 평가를 향상시킨다는 것을 입증한다.

ABSTRACT

We propose a new benchmark environment for evaluating Reinforcement Learning (RL) algorithms: the PlayStation Learning Environment (PSXLE), a PlayStation emulator modified to expose a simple control API that enables rich game-state representations. We argue that the PlayStation serves as a suitable progression for agent evaluation and propose a framework for such an evaluation. We build an action-driven abstraction for a PlayStation game with support for the OpenAI Gym interface and demonstrate its use by running OpenAI Baselines.

연구 동기 및 목표

• 기존 강화학습 벤치마크의 한계를 해결하기 위해 더 복잡하고 현실적인 환경을 제공하고, 더 풍부한 상태 표현을 제공하기 위해.
• 오디오를 강화학습에서 첫 번째 상태 모달리티로 통합하는 것을 탐색하기 위해, 이는 오디오 처리 기술의 발전에도 불구하고 여전히 미흡하게 활용되고 있다.
• OpenAI Gym 생태계를 플레이스테이션 1 게임을 지원하도록 확장하여 상태 공간의 정밀도를 향상시키기 위해.
• 더 복잡하고 시각적·청각적으로 풍부한 환경에서 강화학습 에이전트를 훈련하고 평가하기 위한 확장 가능한 게임에 종속되지 않는 프레임워크를 제공하기 위해.
• 더 풍부한 상태 인코딩, 특히 오디오를 포함한 것이 복잡한 게임 환경에서 학습 효율성과 에이전트 성능을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 실시간 콘솔 상태(오디오, RAM, 디스플레이 출력 포함)를 노출하기 위해 PCSX-R 에뮬레이터에 프로세스 간 통신(IPC) 메커니즘을 통합한다.
• 콘솔 상태를 표준화된 인터페이스로 매핑하는 게임에 종속되지 않는 추상화 계층을 설계하여 OpenAI Gym과의 호환성을 확보한다.
• 이전 상태에서의 액션을 재방문하고 재실행할 수 있도록 save_state 및 load_state 기능을 활용한 액션 기반 상태 재생 메커니즘을 구현한다.
• 원시 웨이브포맷을 캡처하고 MFCC를 추출하여 상태 표현에 오디오 상태 인코딩을 도입한다.
• OpenAI Baselines(DQN 및 PPO2)를 사용하여 Kula World에서 시각적 및 청각적 상태 입력을 기반으로 에이전트를 훈련하고 평가한다.
• 훈련 곡선을 부드럽게 하고 여러 레벨을 걸친 에이전트 숙련도를 평가하기 위해 10개의 에피소드에 대한 이동 평균을 적용한다.

실험 결과

연구 질문

• RQ1 원시 오디오, RAM, 디스플레이 출력에 접근할 수 있는 플레이스테이션 1 기반 강화학습 환경이 고급 강화학습 알고리즘 평가를 위한 실용적인 벤치마크로 기능할 수 있는가?
• RQ2 시각적 상태 표현에 비해 오디오를 상태 모달리티로 통합할 경우 학습 효율성과 에이전트 성능에 어떤 영향을 미치는가?
• RQ3 DQN 및 PPO2와 같은 기존 강화학습 알고리즘이 더 복잡하고 시각적·청각적으로 풍부한 게임 환경으로 일반화될 수 있는 정도는 어느 정도인가?
• RQ4 액션 기반 상태 재생 메커니즘이 복잡한 게임 환경에서 훈련 시간을 단축하고 샘플 효율성을 향상시킬 수 있는가?
• RQ5 아타리-2600 게임에 비해 플레이스테이션 1 게임의 더 높은 복잡도가 강화학습 에이전트의 일반화 능력과 내구성 평가에 더 의미 있는 평가를 이끌어낼 수 있는가?

주요 결과

• DQN 및 PPO2 베이스라인은 Kula World에서 안정적인 학습 곡선을 기록했으며, PPO2가 DQN에 비해 더 뛰어난 샘플 효율성과 최종 성능을 보였다.
• 시각적 상태 인코딩을 사용한 에이전트는 1,600개의 훈련 에피소드 후 약 1,200의 누적 보상을 달성하여 여러 레벨에 걸친 효과적인 학습을 보였다.
• 예약된 시작 위치에서의 평가 결과는 일관된 성능을 보였으며, 5개의 검증 에피소드에 대한 이동 평균을 통해 안정적인 정책 학습이 이루어졌음을 확인했다.
• 오디오 웨이브포맷과 MFCC가 성공적으로 캡처되고 처리되어 오디오를 강화학습 상태 표현에 통합하는 것이 가능함을 입증했다.
• save_state 및 load_state 메서드를 통한 액션 기반 상태 재생 메커니즘은 간단히 구현 가능하며 훈련 시간 단축에 유용할 수 있음을 입증했다.
• PSXLE 프레임워크는 OpenAI Gym과 성공적으로 통합되어, 표준 강화학습 알고리즘을 최소한의 수정으로 플레이스테이션 1 게임에 적용할 수 있도록 했다.