[논문 리뷰] Inverse reinforcement learning for video games

Aaron David Tucker, Adam Gleave외 1명|arXiv (Cornell University)|2018. 10. 24.

Reinforcement Learning in Robotics참고 문헌 22인용 수 22

한 줄 요약

이 논문은 고차원 비디오 게임에 적합한 새로운 적대적 역강화학습(IRL) 프레임워크를 제안한다. CNN 기반 생성기와 판별기, 보상 정규화, 그리고 새로운 픽셀 인식 자동에코더를 사용하여 저차원 상태 표현을 학습한다. 이 방법은 Catcher 게임에서 거의 전문가 수준의 성능을 달성했으며, Enduro 게임에서도 점수를 획득하여, 적합한 아키텍처 및 훈련 수정을 통해 GAN 기반 IRL이 Atari 유사 환경으로 안정화되고 확장될 수 있음을 보여준다.

ABSTRACT

Deep reinforcement learning achieves superhuman performance in a range of video game environments, but requires that a designer manually specify a reward function. It is often easier to provide demonstrations of a target behavior than to design a reward function describing that behavior. Inverse reinforcement learning (IRL) algorithms can infer a reward from demonstrations in low-dimensional continuous control environments, but there has been little work on applying IRL to high-dimensional video games. In our CNN-AIRL baseline, we modify the state-of-the-art adversarial IRL (AIRL) algorithm to use CNNs for the generator and discriminator. To stabilize training, we normalize the reward and increase the size of the discriminator training dataset. We additionally learn a low-dimensional state representation using a novel autoencoder architecture tuned for video game environments. This embedding is used as input to the reward network, improving the sample efficiency of expert demonstrations. Our method achieves high-level performance on the simple Catcher video game, substantially outperforming the CNN-AIRL baseline. We also score points on the Enduro Atari racing game, but do not match expert performance, highlighting the need for further work.

연구 동기 및 목표

• 고차원 비디오 게임에서 보상 함수를 전문가의 행동으로부터 학습할 수 없는 딥 강화학습의 성능 한계를 해소하기 위해, 알려진 보상 함수를 최적화하는 능력과 전문가의 행동에서 보상을 학습하는 능력 간 격차를 좁히는 것.
• Atari 게임에서 흔히 나타나는 고차원적이고 비연속적인 상태 공간에서 발생하는 적대적 IRL의 불안정성 문제를 해결하는 것.
• 원시 프레임에서 의미 있는 저차원 상태 표현을 학습함으로써 전문가 시퀀스의 샘플 효율성을 향상시키는 것.
• 보상 정규화와 과거 생성기 버전의 다중 반복 판별기 훈련을 통해 훈련을 안정화시키는 것.
• 다중 모odal 전문가 행동과 희소 보상 등의 과제를 극복하여 IRL이 비디오 게임에서 인간 수준의 성능을 달성하도록 하는 것.

제안 방법

• 생성기(정책)와 판별기(보상 네트워크) 모두에 컨volutional 신경망(CNN)을 적용하여 고차원 이미지 입력을 처리할 수 있도록 적대적 IRL(AIRL)을 변형한 것.
• 훈련 중 보상 드리프트를 방지하기 위해 보상 정규화를 도입하여 장수평 훈련 환경에서의 훈련 안정성을 향상시킨 것.
• 다양한 과거 생성기 반복 버전의 상태-행동 쌍을 기반으로 판별기를 훈련시어 일반화 능력을 향상시키고, 분산과 과적합을 감소시킨 것.
• 특정한 동적 객체(예: 공 등)의 정확한 재구성을 우선시하는 새로운 픽셀 클래스 자동에코더를 설계하여 상태 표현 품질을 향상시킨 것.
• 학습된 저차원 임bedding을 보상 네트워크의 입력으로 사용하면서도 정책 네트워크의 입력은 원본 프레임 그대로 유지하여 샘플 효율성을 향상시킨 것.
• 프록실 페리크션 옵티마이제이션(PPO)을 사용해 생성기를 훈련하고, 전문가 행동을 모방하도록 적대적 훈련을 통해 보상 함수를 반복적으로 업데이트한 것.

실험 결과

연구 질문

• RQ1 적대적 역강화학습(IRL)이 Atari와 유사한 고차원 비디오 게임 환경으로 안정화되고 확장될 수 있는가?
• RQ2 특화된 자동에코더로부터 얻은 저차원 상태 표현을 사용할 경우, 비디오 게임의 IRL에서 샘플 효율성과 성능에 어떤 영향을 미치는가?
• RQ3 다중 반복 판별기 훈련이 고차원 IRL에서 과적합을 얼마나 줄이고 정책 성능을 향상시키는가?
• RQ4 보상 정규화가 장수평 비디오 게임 IRL에서 보상 드리프트를 방지하고 훈련 안정성을 향상시키는 데 기여하는가?
• RQ5 기본 자동에코더가 왜 핵심 게임 요소(예: 움직이는 공 등)를 제대로 표현하지 못하는가? 이 문제는 IRL에서 어떻게 해결될 수 있는가?

주요 결과

• 제안된 방법은 Catcher 게임에서 기존 CNN-AIRL 기준선보다 유의미하게 뛰어난 거의 전문가 수준의 성능을 달성했다.
• 이 방법은 Enduro Atari 레이싱 게임에서 점수를 획득하여 복잡한 비디오 게임에서의 IRL 가능성은 입증했지만, 전문가 수준에 못 미치는 성능을 보였다.
• 픽셀 클래스 자동에코더를 사용함으로써, 더 작은 데이터셋에서도 판별기의 거짓 긍정률이 감소했고, 표준 자동에코더보다 움직이는 게임 객체의 재구성 품질이 향상되었다.
• 보상 정규화와 다중 반복 판별기 훈련은 고차원 환경에서 훈련을 안정화시키고 보상 드리프트를 방지하는 데 핵심적인 역할을 하였다.
• 자기에코더에서 유도된 저차원 상태 임베딩은 샘플 효율성을 크게 향상시켜 더 적은 전문가 시퀀스로도 향상된 성능를 달성할 수 있도록 하였다.
• 개선에도 불구하고 Enduro에서의 성능는 여전히 전문가 수준에 크게 못 미치며, 복잡한 Atari 게임으로의 IRL 확장에 여전히 도전 과제가 남아 있음을 시사한다.