[논문 리뷰] ViZDoom: DRQN with Prioritized Experience Replay, Double-Q Learning, & Snapshot Ensembling

Christopher J. Schulze, Marcus Schulze|arXiv (Cornell University)|2018. 01. 03.

Reinforcement Learning in Robotics인용 수 7

한 줄 요약

이 논문은 ViZDoom 1인칭 슈팅 환경에서 깊이 있는 순환 Q-네트워크(DRQN)에 대해 더블-Q 학습(DDQ)과 우선순위 경험 재생(PER)을 평가하며, 코즈인 냉각을 사용한 스냅샷 앙상블으로 성능을 향상시킨다. 결과적으로 DDQ와 PER는 학습 안정성과 초반 성능을 크게 향상시키며, 스냅샷 앙상블은 평균 K/D를 한 표준편차 이상 높인다.

ABSTRACT

ViZDoom is a robust, first-person shooter reinforcement learning environment, characterized by a significant degree of latent state information. In this paper, double-Q learning and prioritized experience replay methods are tested under a certain ViZDoom combat scenario using a competitive deep recurrent Q-network (DRQN) architecture. In addition, an ensembling technique known as snapshot ensembling is employed using a specific annealed learning rate to observe differences in ensembling efficacy under these two methods. Annealed learning rates are important in general to the training of deep neural network models, as they shake up the status-quo and counter a model's tending towards local optima. While both variants show performance exceeding those of built-in AI agents of the game, the known stabilizing effects of double-Q learning are illustrated, and priority experience replay is again validated in its usefulness by showing immediate results early on in agent development, with the caveat that value overestimation is accelerated in this case. In addition, some unique behaviors are observed to develop for priority experience replay (PER) and double-Q (DDQ) variants, and snapshot ensembling of both PER and DDQ proves a valuable method for improving performance of the ViZDoom Marine.

연구 동기 및 목표

• ViZDoom 강화학습 환경에서 더블-Q 학습(DDQ)과 우선순위 경험 재생(PER)의 효과를 평가하는 것.
• DDQ와 PER와 함께 사용할 때, 학습률을 냉각한 스냅샷 앙상블이 성능에 미치는 영향을 조사하는 것.
• 다양한 학습 방법에 따라 에이전트 전략의 행동적 차이, 예를 들어 탄약 절약 및 측면 공격에 대한 반응을 분석하는 것.
• PER에서의 가치 과대평가가 학습 동역학과 앙상블 효용성에 미치는 영향을 평가하는 것.
• 고지연, 부분 관찰 가능한 환경에서 DRQN 성능의 벤치마크를 설정하는 것(고전적 기법 없이 및 고급 DRL 기법을 적용한 경우)

제안 방법

• ViZDoom의 1인칭 전투 시나리오에서 순차적 관찰을 처리하기 위해 Lample 등에 의해 영감을 받은 깊이 있는 순환 Q-네트워크(DRQN) 아키텍처를 사용한다.
• 타겟 가치 추정을 위해 별도의 네트워크를 사용함으로써 행동 가치의 과대평가를 줄이기 위해 더블-Q 학습(DDQ)을 적용한다.
• 높은 시간차 오차 전이에 집중함으로써 샘플 효율성을 향상시키기 위해 우선순위 경험 재생(PER)을 구현한다.
• 다양한 학습 에포크에서 저장된 모델을 생성하기 위해 학습률을 코즈인 냉각 방식으로 조정한다.
• 단일 DRQN 모델을 가중치 감소와 학습률 스케줄링을 사용해 훈련한 후, 여러 개의 저장된 스냅샷에서의 예측을 조합함으로써 스냅샷 앙상블을 적용한다.
• 에이전트를 '센터 수호' ViZDoom 시나리오에서 훈련시키며, 평균 K/D 비율, 표준편차 및 적 식별 손실을 측정하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 더블-Q 학습과 우선순위 경험 재생은 ViZDoom 환경에서 학습 안정성과 성능에 어떤 영향을 미치는가?
• RQ2 우선순위 경험 재생에서의 가치 과대평가가 초반 학습과 모델 일관성에 어떤 영향을 미치는가?
• RQ3 DDQ와 PER로 훈련된 DRQN 에이전트에 스냅샷 앙상블을 적용할 경우 그 효과는 어떠한가?
• RQ4 DDQ와 PER 에이전트는 탄약 절약이나 측면 공격에 대한 빠른 반응과 같은 고유한 행동 전략을 개발하는가?
• RQ5 고지연, 부분 관찰 가능한 환경인 ViZDoom과 같은 환경에서 스냅샷 앙상블은 성능 저하를 완화시킬 수 있는가?

주요 결과

• 더블-Q 학습(DDQ)을 적용한 DRQN은 평균 평균 K/D가 3.90이며 표준편차가 0.393이어서 기준선 에이전트에 비해 높은 일관성과 낮은 분산을 보였다.
• 우선순위 경험 재생(PER)은 더 빠른 초반 학습을 가능하게 하여 1000판 만에 성공적인 적 탐지에 도달했으며, 최대 적 식별 교차엔트로피 손실을 0.2196까지 낮췄다.
• 스냅샷 앙상블은 DDQ 및 PER 에이전트의 성능을 향상시켰으며, 평균 K/D를 한 표준편차 이상 높였고, DDQ-앙상블은 평균 K/D 4.37을 기록했다.
• PER나 DDQ 없이 기반 DRQN 모델은 평균 평균 K/D가 4.65였지만 표준편차가 0.620으로 매우 높아 성능이 불안정하고 안정성이 떨어졌다.
• DDQ 에이전트는 더 오랫동안 총을 발사하지 않음으로써 탄약 절약을 더 잘했고, 놓친 사격 수가 줄었다. 반면 PER 에이전트는 뒤쪽이나 측면에서 공격하는 적에 더 빠르게 반응했다.
• 스냅샷 앙상블은 기반 DRQN 모델에 대해 성능 향상을 이룰 수 없었으며, 정규화되지 않은 훈련에서의 가치 과대평가 증가로 인해 모델 간 유사성이 낮아 앙상블 평균화의 이점을 얻지 못했다고 보여졌다.