[논문 리뷰] Deep Reinforcement Learning With Macro-Actions

Ishan Durugkar, Clemens Rosenbaum외 2명|arXiv (Cornell University)|2016. 06. 15.

Reinforcement Learning in Robotics참고 문헌 15인용 수 11

한 줄 요약

이 논문은 아케이드 게임인 아케이드 2600에서 학습 속도를 향상시키고 성능을 향상시키기 위해, 기본 동작의 사전 정의된 순서인 마크로 액션을 딥 Q 네트워크(DQN)에 통합하는 방법을 제안한다. 시간적으로 연장된 액션을 허용함으로써, 에이전트는 희박한 보상 신호에 의존하는 것을 줄이고 Q-값의 신뢰도를 높이며, 테스트한 일곱 개 게임 중 여섯 개에서 빠른 수렴과 뛰어난 최종 점수를 달성한다.

ABSTRACT

Deep reinforcement learning has been shown to be a powerful framework for learning policies from complex high-dimensional sensory inputs to actions in complex tasks, such as the Atari domain. In this paper, we explore output representation modeling in the form of temporal abstraction to improve convergence and reliability of deep reinforcement learning approaches. We concentrate on macro-actions, and evaluate these on different Atari 2600 games, where we show that they yield significant improvements in learning speed. Additionally, we show that they can even achieve better scores than DQN. We offer analysis and explanation for both convergence and final results, revealing a problem deep RL approaches have with sparse reward signals.

연구 동기 및 목표

• 고차원 제어 작업에서 딥 강화 학습 에이전트의 샘플 효율성과 수렴 속도를 향상시키기.
• 보상 신호가 지연되고 희박한 아케이드 환경에서의 과제를 해결하기.
• 마크로 액션을 통한 시간 추상화가 기본 동작만으로는 부족한 신뢰할 수 있는 정책 학습을 가능하게 하는지 조사하기.
• 마크로 액션이 딥 신경망과 어떻게 상호작용하여 상태 표현 학습과 Q-값 추정을 향상시키는지 탐구하기.
• 기본 동작에 접근할 수 있는 에이전트라도 마크로 액션을 통해 표준 DQN보다 뛰어난 최종 성능을 달성할 수 있는지 입증하기.

제안 방법

• 행동 공간에 마크로 액션을 추가로 포함시켜 DQN 아키텍처를 확장한다.
• 마크로 액션을 고정된, 결정론적인 기본 동작의 순서로 정의한다 (예: '왼쪽으로 5번 이동한 후 점프').
• 기본 동작과 마크로 액션 모두의 전이를 포함하는 리PLAY 버퍼를 사용해 DQN 에이전트를 훈련시킨다.
• 표준 DQN 훈련 방식을 유지하며 경험 리PLAY와 타겟 네트워크를 사용하고, 에이전트가 마크로 액션을 단일 동작으로 선택할 수 있도록 한다.
• 단순 히우리즘을 통해 마크로 액션을 구성한다: 반복되는 동작 순서 (예: '왼쪽, 왼쪽, 왼쪽') 및 고정 길이의 동작 순서.
• 마크로 액션 선택이 학습 속도, 최종 성능, Q-값 신뢰도에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 마크로 액션은 아케이드 2600 게임에서 딥 강화 학습의 학습 시간을 상당히 줄일 수 있는가?
• RQ2 기본 동작만을 사용하는 표준 DQN과 비교해 마크로 액션이 더 뛰어난 최종 성능을 낼 수 있는가?
• RQ3 마크로 액션은 딥 Q-네트워크에서 Q-값 추정의 신뢰도와 안정성에 어떻게 영향을 미치는가?
• RQ4 행동 공간의 해상도를 낮추는 데에도 불구하고, 마크로 액션이 희박한 보상 환경에서 왜 학습을 향상시키는가?
• RQ5 다양한 마크로 액션 구성 전략(예: 반복 동작, 고정 길이 순서)이 학습 결과에 얼마나 큰 영향을 미치는가?

주요 결과

• 마크로 액션을 사용한 DQN은 표준 DQN 대비 약 50%의 학습 시간 단축을 기록했으며, 5000만 스텝에서 표준 DQN의 1억 스텝 수준의 성능를 달성했다.
• 테스트한 아케이드 2600 게임 일곱 종류 중 여섯 곳에서 마크로 액션을 사용한 DQN이 표준 DQN보다 더 높은 최종 점수를 기록했다.
• 마크로 액션을 사용할 경우, 최고 Q-값과 두 번째로 높은 Q-값의 차이로 측정한 Q-값의 신뢰도가 수개월 정도 높아졌으며, 이는 근사 오차의 영향을 줄였다.
• 마크로 액션 덕분에 Q-값의 분포가 개선되어 더 신뢰할 수 있는 그리디 동작 선택이 가능해졌고, 이는 효과적으로 액션 갭을 증가시켰다.
• 마크로 액션을 사용할 경우, 더 큰 상태 변화가 더 두드러지게 나타나기 때문에 딥 신경망이 상태 표현을 더 효율적으로 학습했다.
• Ms. Pac-Man와 같은 게임에서는 단순한 반복 동작 마크로가 더 복잡한 전략보다 뛰어난 성능을 보였으며, 이는 마크로 설계가 게임 메커니즘과 일치해야 함을 시사한다.