[논문 리뷰] At Human Speed: Deep Reinforcement Learning with Action Delay

Vlad Firoiu, Tina Ju외 1명|arXiv (Cornell University)|2018. 10. 16.

Reinforcement Learning in Robotics참고 문헌 12인용 수 28

한 줄 요약

이 논문은 인간의 반응 시간을 시뮬레이션하여 행동 지연을 극복할 수 있도록 하는 신경 예측 모델을 제안한다. 행동 실행 시점의 환경 상태를 예측함으로써, 강화학습 에이전트는 슈퍼 스매시 브로스. 마이트에서 인간 전문가와 경쟁할 수 있는 뛰어난 성능을 달성한다. 비예측 모델보다 뛰어나며, 정상적인 레벨의 프로 선수들과 거의 균형을 이루는 성능을 보인다.

ABSTRACT

There has been a recent explosion in the capabilities of game-playing artificial intelligence. Many classes of tasks, from video games to motor control to board games, are now solvable by fairly generic algorithms, based on deep learning and reinforcement learning, that learn to play from experience with minimal prior knowledge. However, these machines often do not win through intelligence alone -- they possess vastly superior speed and precision, allowing them to act in ways a human never could. To level the playing field, we restrict the machine's reaction time to a human level, and find that standard deep reinforcement learning methods quickly drop in performance. We propose a solution to the action delay problem inspired by human perception -- to endow agents with a neural predictive model of the environment which "undoes" the delay inherent in their environment -- and demonstrate its efficacy against professional players in Super Smash Bros. Melee, a popular console fighting game.

연구 동기 및 목표

• 고속 게임에서 인간 수준의 행동 지연을 경험할 때 표준 딥 강화학습 에이전트의 성능 저하를 조사하기 위해.
• 행동 실행 이전에 미래 상태를 모델링하여 강화학습에서 지연된 행동 문제를 해결하기 위해.
• 인간 수준의 반응 시간을 가진 에이전트가 숙련된 인간 플레이어와 효과적으로 경쟁할 수 있도록 하기 위해.
• 복잡한 실시간 환경에서 행동 지연으로 인한 성능 손실을 예측 모델링을 통해 복구할 수 있는지 탐색하기 위해.

제안 방법

• 에이전트는 현재 행동이 실행될 시점의 환경 상태를 예측하는 신경 예측 모델을 탑재하며, 이는 고정된 행동 지연을 고려한다.
• 예측 모델은 상태 전이에 대해 지도 학습 손실을 사용하여 엔드 투 엔드로 훈련되며, 현재 관측치와 행동 이력 기반으로 지연된 상태를 예측하도록 학습한다.
• 예측 아키텍처는 IMPALA 강화학습 프레임워크와 통합되어 실시간 추론을 유지하면서 정책 학습을 가능하게 한다.
• 예측 모델은 순환 또는 순차적 구조를 사용하여 시간적 맥락을 유지하고, 다중 지연 스텝에 걸쳐 미래 상태를 예측한다.
• 비현실적인 상태공간 팽창을 피하기 위해, 지연된 동역학을 압축되고 미분 가능한 모델로 학습함으로써, 난이도 높은 상태공간 증가 문제를 해결한다.
• 이 방법은 슈퍼 스매시 브로스. 마이트와 아케이드 2600 게임에서 평가되었으며, 비예측 모델 및 인간 전문가와의 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 행동 지연은 슈퍼 스매시 브로스. 마이트와 같은 고속 게임에서 표준 딥 강화학습 에이전트의 성능에 어떤 영향을 미치는가?
• RQ2 예측 모델링을 통해 행동 지연을 효과적으로 보완할 수 있는가? 이때 상태공간 팽창 문제를 야기하지 않는가?
• RQ3 예측 모델을 통해 인간 수준의 반응 시간을 가진 에이전트가 인간 전문가와 경쟁할 수 있는 성능을 달성할 수 있는가?
• RQ4 지연 조건 하에서 비예측 기반 모델과 비교했을 때, 예측 모델은 승률 및 학습 안정성 측면에서 어떤 성능을 보이는가?

주요 결과

• 비예측 딥 강화학습 에이전트는 행동 지연이 4단계를 초과할수록 심각한 성능 저하를 겪는다.
• 예측 모델을 갖춘 (7, 7, 2) 하이퍼파라미터 에이전트는 지연 7단계에서 프로페서 프로(국제 랭킹 상위 41위)와의 대결에서 5승 2패를 기록했다.
• (6, 6, 2) 예측 에이전트는 지연 6단계에서 프로페서 프로와의 5판 중 3판을 승리하며 뛰어난 경쟁 능력을 입증했다.
• 예측 모델은 비예측 기반 모델인 (6, 0, 2) 에이전트보다 뚜렷이 뛰어난 성능을 보였으며, 동일한 상대와의 6판에서 0승을 기록했다.
• 성능 향상은 슈퍼 스매시 브로스. 마이트와 아케이드 2600 게임을 포함한 다양한 환경에서 일관되게 나타나, 이 방법의 일반화 능력을 확인시켰다.
• 예측 모델은 지연이 7단계까지 유지되더라도 경쟁 가능한 플레이를 가능하게 하였으며, 실시간 게임 플레이에 적합한 추론 속도를 유지했다.