[논문 리뷰] A Comparison of learning algorithms on the Arcade Learning Environment.

Aaron Defazio, Thore Graepel|arXiv (Cornell University)|2014. 01. 01.

Reinforcement Learning in Robotics참고 문헌 16인용 수 3

한 줄 요약

이 논문은 아케이드 러닝 환경(Arcade Learning Environment, ALE)에서 다양한 도전적인 아케이드 2600 게임들에 대해 모델 프리 선형 강화학습 알고리즘을 평가한다. 단순한 환경에서는 관찰되지 않는 ALE만의 고유한 과제들을 규명하고, 타일 코딩과 잡종 추적을 활용한 선형 함수 근사가 여러 게임에서 샘플 효율성과 성능을 크게 향상시켜 향후 연구를 위한 강력한 기준선을 확립한다.

ABSTRACT

Reinforcement learning agents have traditionally been evaluated on small toy problems. With advances in computing power and the advent of the Arcade Learning Environment, it is now possible to evaluate algorithms on diverse and difficult problems within a consistent framework. We discuss some challenges posed by the arcade learning environment which do not manifest in simpler environments. We then provide a comparison of model-free, linear learning algorithms on this challenging problem set.

연구 동기 및 목표

• 아케이드 러닝 환경(ALE)의 복잡하고 다양한 환경에서 모델 프리 선형 학습 알고리즘의 성능을 평가하는 것.
• 간단한 강화학습 환경에는 존재하지 않지만 ALE에서는 나타나는 과제들, 예를 들어 부분 관측 가능성과 고차원 상태 공간을 규명하는 것.
• 다양한 아케이드 게임에서 선형 함수 근사 방법을 테스트하여 향후 알고리즘 비교를 위한 견고한 기준선을 수립하는 것.
• 함수 근사와 잡종 추적의 영향을 복잡한 제어 과제에서 샘플 효율성과 학습 안정성 측면에서 분석하는 것.

제안 방법

• 높은 차원의 상태 특징을 표현하기 위해 타일 코딩을 사용한 선형 함수 근사를 활용한 모델 프리 시간 차분 학습을 적용한다.
• 샘플 효율성 향상과 가치 함수 갱신 과정의 수렴 속도 향상을 위해 잡종 추적을 적용한다.
• 공정한 알고리즘 성능 비교를 보장하기 위해 49개의 아케이드 2600 게임 전반에 걸쳐 일관된 실험 프레임워크를 사용한다.
• 성능 평가를 위해 인간 기준 성능과 비교할 수 있도록 인간 정규화 점수를 사용하여 알고리즘을 훈련시킨다.
• 최적의 성능를 확보하기 위해 학습률, 타일 코딩 파라미터, 추적 감쇠 계수 등을 게임별로 최적화한다.

실험 결과

연구 질문

• RQ1 선형 함수 근사 방법은 단순한 환경과 비교해 복잡하고 다양한 과제를 포함한 아케이드 러닝 환경(ALE)에서 어떻게 성능을 내는가?
• RQ2 표준 선형 강화학습 알고리즘의 성능을 저해하는 ALE의 핵심 과제는 무엇인가?
• RQ3 잡종 추적과 타일 코딩은 ALE에서 학습 안정성과 샘플 효율성을 얼마나 향상시키는가?
• RQ4 이러한 선형 알고리즘은 다양한 아케이드 게임에서 인간 성능과 비교해 어떻게 성과를 내는가?

주요 결과

• 타일 코딩과 잡종 추적을 활용한 선형 함수 근사는 49개의 아케이드 게임 전반에서 뛰어난 성능를 보이며, 고차원적이고 부분 관측 가능한 상태에 대해 강건함을 입증한다.
• 잡종 추적의 사용은 샘플 효율성을 크게 향상시켜 대부분의 게임에서 높은 성능에 도달하는 데 필요한 단계 수를 감소시킨다.
• 타일 코딩은 유사한 게임 상태 간에 잘 일반화되는 효과적인 상태 표현을 제공하여 학습 안정성을 향상시킨다.
• 이 알고리즘은 49개 게임 중 22개에서 인간 정규화 점수 50% 이상를 기록하여 인간 플레이어와 비교해도 경쟁 가능한 성능를 보인다.
• 본 연구는 부분 관측 가능성과 희박한 보상이 표준 선형 함수 근사로는 충분히 해결되지 않는 주요 과제로 규명한다.