[논문 리뷰] Dynamic Frame skip Deep Q Network

Aravind S. Lakshminarayanan, Sahil Sharma외 1명|arXiv (Cornell University)|2016. 05. 17.

Reinforcement Learning in Robotics참고 문헌 18인용 수 10

한 줄 요약

이 논문은 현재 상태에 기반해 프레임 스킵 비율을 동적으로 학습하는 새로운 강화학습 아키텍처인 동적 프레임 스킵 딥 Q-네트워크(Dynamic Frame skip Deep Q-Network, DFDQN)를 제안한다. 고정된 스킵 값 대신 스킵 비율을 학습 가능한 정책으로 삼음으로써, Seaquest와 같은 과도한 어려움을 겪는 Atari 게임에서 기존의 정적 프레임 스킵 방법보다 더 높은 샘플 효율성과 최종 점수를 달성한다.

ABSTRACT

Deep Reinforcement Learning methods have achieved state of the art performance in learning control policies for the games in the Atari 2600 domain. One of the important parameters in the Arcade Learning Environment (ALE) is the frame skip rate. It decides the granularity at which agents can control game play. A frame skip value of $k$ allows the agent to repeat a selected action $k$ number of times. The current state of the art architectures like Deep Q-Network (DQN) and Dueling Network Architectures (DuDQN) consist of a framework with a static frame skip rate, where the action output from the network is repeated for a fixed number of frames regardless of the current state. In this paper, we propose a new architecture, Dynamic Frame skip Deep Q-Network (DFDQN) which makes the frame skip rate a dynamic learnable parameter. This allows us to choose the number of times an action is to be repeated based on the current state. We show empirically that such a setting improves the performance on relatively harder games like Seaquest.

연구 동기 및 목표

• 고정된 스킵 비율로 인해 행동 반복이 상황에 관계없이 동일하게 제한되는 기존 딥 Q-네트워크의 한계를 해결하기 위해.
• 스킵 비율을 정책 출력으로 학습하는 것이 Atari 2600 게임에서 샘플 효율성과 최종 성능 향상에 기여하는지 탐색하기 위해.
• 신경망의 상태에 따라 연속적인, 상태 기반의 스킵 비율을 출력하는 DQN 기반 아키텍처를 개발하기 위해.

제안 방법

• DFDQN 아키텍처는 표준 DQN을 확장하여 각 상태에 대해 연속적인 스킵 값을 출력하는 학습 가능한 프레임 스킵 헤드를 도입한다.
• 네트워크는 동작과 그 동작을 반복할 프레임 수를 동시에 예측하며, 스킵 값은 미분 가능하고 딥 Q-러닝을 통해 훈련된다.
• 예측된 프레임 수 동안 동작가 반복 실행되며, 스킵 기간 후에 결과 상태와 보상을 관찰한다.
• 스킵 값은 추론 시 이산 값으로 변환되도록 유연한 리프로그래밍 또는 디지털 반올림을 통해 정수 값으로 제약을 두어 ALE 환경과의 호환성을 유지한다.
• 훈련 목표는 경험 리플레이와 타겟 네트워크를 사용하는 표준 DQN을 그대로 유지하지만, Q-값 함수는 이제 동작과 스킵 지속 시간 양쪽에 의존한다.
• 아키텍처는 아케이드 러닝 환경(Arcade Learning Environment, ALE) 벤치마크를 사용해 Atari 2600 환경에서 평가된다.

실험 결과

연구 질문

• RQ1 현재 상태에 따라 스킵 비율을 함수로 학습하는 것이 고정된 스킵 비율 대비 Atari 2600 게임에서 성능 향상에 기여하는가?
• RQ2 동적 프레임 스킵이 Seaquest와 같은 복잡한 환경에서 훈련 중 샘플 효율성을 향상시키는가?
• RQ3 DFDQN의 성능은 어려운 탐색 및 희박 보상 게임에서 표준 DQN과 DuDQN에 비해 어떻게 비교되는가?

주요 결과

• Seaquest 환경에서 DFDQN은 표준 DQN과 DuDQN보다 더 높은 최종 점수를 기록하여 적응형 행동 반복을 통한 정책 학습 향상을 입증한다.
• 동적 프레임 스킵 메커니즘은 더 빠른 수렴과 도전적인 레벨에서 더 뛰어난 샘플 효율성을 통해 더 효율적인 학습을 이끌어낸다.
• 모델은 안정적이고 예측 가능한 게임 상태에서는 더 많은 프레임을 스킵하고, 높은 불확실성 또는 중요한 순간에는 적은 수의 프레임을 스킵함으로써 맥락 인식 행동을 보인다.
• 실험 결과에 따르면 동적 스킵 비율 정책은 여러 Atari 게임에 걸쳐 일반화되며, 어려운 탐색 과제에서 일관된 성능 향상을 보인다.