[논문 리뷰] Let's Play Again: Variability of Deep Reinforcement Learning Agents in Atari Environments

Kaleigh Clary, Emma Tosch외 2명|arXiv (Cornell University)|2019. 04. 12.

Reinforcement Learning in Robotics참고 문헌 5인용 수 16

한 줄 요약

이 논문은 동일한 초모수와 난수 시드로 훈련된 Atari 환경 내 딥 강화학습 에이전트가 성능에 상당한 변동성을 보이며, 모델 평가에 평균 또는 최대 보상과 같은 단일 지표를 사용하는 것의 타당성을 도전한다. 저자들은 에이전트 성능을 다수의 테스트 에피소드에 걸친 점수 분포로 보고할 것을 주장하며, 이는 진정으로 모델 행동을 더 잘 반영하고 모델 선택의 편향을 줄인다고 설명한다.

ABSTRACT

Reproducibility in reinforcement learning is challenging: uncontrolled stochasticity from many sources, such as the learning algorithm, the learned policy, and the environment itself have led researchers to report the performance of learned agents using aggregate metrics of performance over multiple random seeds for a single environment. Unfortunately, there are still pernicious sources of variability in reinforcement learning agents that make reporting common summary statistics an unsound metric for performance. Our experiments demonstrate the variability of common agents used in the popular OpenAI Baselines repository. We make the case for reporting post-training agent performance as a distribution, rather than a point estimate.

연구 동기 및 목표

• 동일한 초모수와 난수 시드로 훈련된 딥 강화학습 에이전트가 Atari 환경에서 테스트 에피소드 간 성능 변동성이 얼마나 큰지 조사하기.
• 성능을 요약하기 위해 평균 또는 최대 보상과 같은 단일 지표를 사용하는 일반적인 관행을 도전하기.
• 에이전트 성능의 변동성이 난수 시드의 차이 때문이 아니라, 훈련된 개별 모델 자체에 내재된 특성임을 입증하기.
• 재현성과 공정성 향상을 위해 모델 평가 관행을 단일 지표에서 성능 분포로 전환할 것을 주장하기.
• 성능 분포가 다중모달성, 뚜렷한 꼬리, 또는 높은 변동성을 보일 경우 모델 선택을 위한 통계적 지침 제공하기.

제안 방법

• 동일한 정책을 사용해 다양한 난수 시드로 훈련된 각 에이전트의 다수의 테스트 에피소드(예: 100 에피소드)에서 성능 점수를 수집하기.
• 각 시드 기반 모델의 점수 분포를 분석하여 내부 모델 변동성(다중모달성, 꼬리가 두꺼운 분포, 비대칭성 포함) 평가하기.
• 히스토GRAM 등의 시각화 수단을 사용해 Q*bert, Breakout, Space Invaders 등의 Atari 게임에서 A2C, PPO2, DQN 등의 알고리즘 간 성능 분포 비교하기.
• 일반적인 모델 선택 관행(예: 평균 또는 최대 점수 기반 선택)이 내재된 성능 변동성으로 인해 발생하는 선택 편향의 영향 평가하기.
• 다중 비교를 고려해 모델 선택 시 보정을 위한 통계적 방법(예: 재표본 추출, 보너페르니 조정, 점수 분할 기반 교차검증) 제안하기.
• 분포가 정규분포가 아니거나 다중모달일 경우 요약 통계량 대신 전체 점수 분포를 보고함으로써 성능 보고 방식 개선하기.

실험 결과

연구 질문

• RQ1 동일한 초모수와 난수 시드로 훈련된 딥 RL 에이전트가 Atari 환경에서 테스트 에피소드 간 성능 변동성이 얼마나 큰가?
• RQ2 성능 분포가 다중모달성 또는 무거운 꼬리 특성을 보일 경우, 평균 또는 최대 점수 기반의 모델 선택 관행이 어떻게 편향을 유발하는가?
• RQ3 성능 분포가 잘 정의되지 않은 경우(예: 비정규분포), 점수 요약 지표(예: 평균 ± 표준오차)를 보고하는 것이 어떤 영향을 미치는가?
• RQ4 내부 모델 성능 변동성이 딥 강화학습에서 모델 평가의 재현성과 공정성에 어떻게 영향을 미치는가?
• RQ5 다수의 시드 기반 에이전트에서 성능 변동성을 고려해 모델을 선택할 때 사용할 수 있는 통계적 방법은 무엇인가?

주요 결과

• 동일한 난수 시드로 훈련된 시드 기반 딥 RL 에이전트는 Atari 환경에서 테스트 에피소드 간 성능에 상당한 변동성을 보이며, 점수 분포가 훈련된 시드에 따라 크게 달라진다.
• Q*bert에서 A2C의 성능 분포는 이중모달성이었으며 평균은 2425.4 ± 53.8이었지만, 중심 영역의 밀도가 낮아 평균이 대표성이 없음을 시사하며, 이는 평균이 오해의 소지가 있는 요약 통계량임을 나타낸다.
• Breakout에서 PPO2의 성능 분포는 꼬리가 두꺼웠으며 평균 209.3 ± 3.2는 평균에 극단적 점수가 크게 영향을 주어 비교에 신뢰성이 떨어짐을 시사한다.
• 모든 시드 기반 모델의 Space Invaders 성능을 종합하면 이중모달 분포를 보이며, 이는 시드 간 모델 행동이 일관되지 않으며 내부 모델 변동성이 전체 추세를 가리거나 왜곡시킬 수 있음을 시사한다.
• 최고 점수 기반으로 모델을 선택할 경우 변동성이 큰 모델이 예측 성능가 높은 모델보다 우선시되어 모델 선택에 심각한 편향을 유도한다.
• 다수의 테스트 에피소드에서 점수의 분포를 보고하는 것이 요약 통계량에 의존하는 것보다 더 정보가 많고 신뢰할 수 있으며, 특히 분포가 비정규분포 또는 다중모달일 경우 더욱 바람직하다.