[논문 리뷰] FlapAI Bird: Training an Agent to Play Flappy Bird Using Reinforcement Learning Techniques

Tai Vu, Leon King Tran|arXiv (Cornell University)|2020. 03. 21.

Reinforcement Learning in Robotics참고 문헌 5인용 수 8

한 줄 요약

이 논문은 상태 이산화, 에psilon-그리디 탐색, 뒤로 향하는 Q-값 갱신과 같은 기법들을 사용하여 수정된 Q-러닝 및 SARSA 강화학습 알고리즘을 활용해 Flappy Bird를 플레이하는 AI 에이전트를 훈련시키는 것을 제안한다. 최고의 성능을 보인 에이전트는 2069점의 최고 게임 스코어를 기록했으며, 이는 기준선보다 뚜렷이 뛰어나며, Q-러닝과 이산화 기법이 제한된 훈련 자원 조건 하에서 딥 네트워크 함수 근사기보다 더 효과적임을 입증한다.

ABSTRACT

Reinforcement learning is one of the most popular approaches for automated game playing. This method allows an agent to estimate the expected utility of its state in order to make optimal actions in an unknown environment. We seek to apply reinforcement learning algorithms to the game Flappy Bird. We implement SARSA and Q-Learning with some modifications such as $ε$-greedy policy, discretization and backward updates. We find that SARSA and Q-Learning outperform the baseline, regularly achieving scores of 1400+, with the highest in-game score of 2069.

연구 동기 및 목표

• 탭류 Q-러닝과 SARSA의 효과성을 조사하여 Flappy Bird를 플레이하는 에이전트를 훈련시키는 데에 활용할 수 있는지 확인한다.
• 상태 이산화, 에psilon-그리디 탐색, 뒤로 향하는 Q-값 갱신이 학습 성능에 미치는 영향을 평가한다.
• 선형 회귀, 피드포워드 신경망(FFNN), 컨볼루션 신경망(CNN)을 포함한 함수 근사 방법들을 제한된 훈련 반복 수 조건 하에서 탭류 방법과 비교한다.
• 제한된 컴퓨팅 자원 조건에서 딥 러닝 기반 함수 근사기들이 이 환경에서 더 단순한 탭류 방법보다 성능이 뛰어나게 되는지 여부를 판단한다.
• 8,000회의 훈련 반복 내에서 에이전트 성능을 최대화하는 최적의 초모수 설정을 특정한다.

제안 방법

• 에이전트들은 OpenAI Gym의 Flappy Bird 환경을 사용하여 훈련되었으며, 상태 표현은 새와 파이프의 상대적 위치 및 새의 속도에 기반하였다.
• SARSA와 Q-러닝 알고리즘은 에psilon-그리디 탐색을 사용하여 구현되었으며, 여기서 에psilon은 탐색과 이용의 균형을 맞추기 위해 0.1 또는 0.0으로 설정되었다.
• 상태 이산화를 10×10 및 20×20 격자로 적용하여 상태 공간의 복잡도를 줄이고 수렴성을 향상시켰다.
• 뒤로 향하는 Q-값 갱신을 사용하여 종료 상태에서의 보상을 궤적을 따라 뒤로 전파함으로써 진정한 Q-값으로의 수렴 속도를 가속화시켰다.
• 함수 근사를 선형 회귀, 피드포워드 신경망(FFNN), 컨볼루션 신경망(CNN)을 사용하여 테스트하였으며, 입력으로는 이미지 프레임과 속도 특징을 포함하였다.
• 보상 함수는 각 파이프를 통과할 때 +1점을 부여하고, 게임 오버 시 -1000점을, 그 외에는 0점을 부여하여 희박한 보상을 형태화하여 학습을 이끌었다.

실험 결과

연구 질문

• RQ1 Q-러닝에 상태 이산화를 적용할 경우, 기준선 에이전트와 함수 근사 방법들보다 Flappy Bird에서 성능이 뛰어나게 되는가?
• RQ2 뒤로 향하는 Q-값 갱신은 전방 갱신 대비 수렴 속도와 최종 성능에 어떤 영향을 미치는가?
• RQ3 제한된 훈련 반복 수 조건 하에서 선형 모델, FFNN, CNN과 같은 함수 근사기들이 탭류 Q-러닝보다 성능을 얼마나 향상시키는가?
• RQ4 에psilon-그리디 탐색은 이 환경에서 Q-러닝과 SARSA 에이전트의 성능에 어떤 영향을 미치는가?
• RQ5 훈련이 제한된 조건에서 상태 이산화를 사용한 단순한 탭류 접근 방식이 더 복잡한 딥 러닝 모델을 능가할 수 있는가?

주요 결과

• 10×10 이산화, 뒤로 향하는 갱신, 에psilon=0을 사용한 Q-러닝 에이전트가 최고의 최대 스코어 2069점을 기록하였다.
• SARSA 에이전트는 기준선을 능가하여 최고 스코어 832점을 기록했지만, Q-러닝 에이전트에 비해 성능이 열등했다.
• 모든 Q-러닝 및 SARSA 에이전트 중에서 이산화와 뒤로 향하는 갱신을 적용한 에이전트들은 기준선(평균 0.13점)을 크게 뛰어넘어 유의미하게 높은 성능을 보였다.
• 함수 근사 방법들—선형 회귀, FFNN, CNN—은 기준선 수준 또는 약간 높은 성능을 보였으며, 평균 스코어는 0.21에서 0.33 사이로 제한된 반복 수 조건 하에서 학습이 불량함을 나타내었다.
• CNN 에이전트는 이미지 입력과 더 복잡한 아키텍처를 사용했음에도 불구하고, 훈련 횟수가 매우 적고(단지 8,000회), 특징 공학 설계가 부족하여 단순한 모델들보다도 성능이 열 劣했다.
• 뒤로 향하는 Q-값 갱신은 종료 상태의 보상을 초기 상태로 전파함으로써 수렴 속도를 가속화시켜 학습 효율성을 향상시켰다.