[논문 리뷰] Deep Attention Recurrent Q-Network

Ivan Sorokin, А. А. Селезнев외 3명|arXiv (Cornell University)|2015. 12. 05.

Reinforcement Learning in Robotics참고 문헌 15인용 수 100

한 줄 요약

이 논문은 Atari 2600 게임에서의 의사결정 성능 향상을 위해 소프트 및 하드 어텐션 메커니즘을 장기 기억 순환 신경망(Long Short-Term Memory, LSTM)과 통합한 Deep Q-Network(DQN)의 확장판인 Deep Attention Recurrent Q-Network(DARQN)을 제안한다. 에이전트가 관련 시각적 영역에 집중할 수 있도록 함으로써, DARQN은 일부 게임에서 DQN 및 DRQN보다 뛰어난 성능을 달성하면서도 학습 행동의 온라인 모니터링을 위한 해석 가능한 어텐션 시각화 기능을 제공한다.

ABSTRACT

A deep learning approach to reinforcement learning led to a general learner able to train on visual input to play a variety of arcade games at the human and superhuman levels. Its creators at the Google DeepMind's team called the approach: Deep Q-Network (DQN). We present an extension of DQN by "soft" and "hard" attention mechanisms. Tests of the proposed Deep Attention Recurrent Q-Network (DARQN) algorithm on multiple Atari 2600 games show level of performance superior to that of DQN. Moreover, built-in attention mechanisms allow a direct online monitoring of the training process by highlighting the regions of the game screen the agent is focusing on when making decisions.

연구 동기 및 목표

• Atari 2600 게임에 대한 강화학습에서 Deep Q-Network(DQN)의 일반화 능력과 학습 효율을 향상시키기 위해.
• DQN의 장기 기억 부족 및 높은 학습 시간 문제를 해결하기 위해 순환 및 어텐션 메커니즘을 통합하기 위해.
• 플레이 중인 행동 동안 어텐션 영역을 시각화할 수 있도록 하여 에이전트 결정의 해석 가능성을 향상시키기 위해.
• 부드러운 및 딱딱한 어텐션 메커니즘의 효과를 순환 Q-네트워크 아키텍처에서 평가하기 위해.
• 어텐션 메커니즘이 성능을 저하시키지 않으면서도 계산 부담을 줄이고 학습 속도를 향상시킬 수 있는지 탐색하기 위해.

제안 방법

• 각 타임스텝에서 게임 프레임의 특징 맵을 추출하기 위해 합성곱 신경망(Convolutional Neural Network, CNN)을 통합한다.
• 특징 맵의 공간 영역에 대해 소프트 또는 하드 어텐션 가중치를 계산하기 위한 어텐션 네트워크를 활용하여 컨텍스트 벡터를 생성한다.
• 숨겨진 상태와 메모리 상태를 유지하기 위해 장기 기억 순환 신경망(Long Short-Term Memory, LSTM)을 사용하며, 시간 단위로 컨텍스트 벡터를 통합한다.
• 소프트 어텐션의 경우, 다층 퍼셉트론과 소프트맥스를 기반으로 하는 미분 가능한 어텐션 메커니즘을 사용해 특징 벡터의 가중 평균을 계산한다.
• 하드 어텐션의 경우, 정책 기반 강화 학습을 사용해 단일 관심 영역을 무작위 샘플링하는 방식을 사용한다.
• RMSProp과 $ε$-그리디 탐색 전략을 사용해 역전파를 시간에 따라 전파하는 방식으로 전체 모델을 엔드 투 엔드로 학습시킨다.

실험 결과

연구 질문

• RQ1 DQN에 어텐션 메커니즘을 통합함으로써 표준 DQN 및 DRQN 대비 Atari 2600 게임에서 성능 향상이 이루어지는가?
• RQ2 어떻게 어텐션 메커니즘이 의사결정 과정 중 에이전트의 집중 영역을 시각화함으로써 해석 가능성을 향상시키는가?
• RQ3 다양한 Atari 게임에서 소프트 및 하드 어텐션 메커니즘의 학습 안정성과 성능는 어떻게 비교되는가?
• RQ4 어텐션 메커니즘이 딥 강화학습 모델의 파라미터 수와 계산 비용을 줄일 수 있는가?
• RQ5 어텐션 메커니즘이 표준 DQN에서 사용하는 네 프레임 기준을 초월해 장기 기억 및 시간적 일반화 능력을 향상시키는가?

주요 결과

• Seaquest에서는 소프트 및 하드 어텐션 기반 DARQN 모델이 DQN 및 DRQN을 모두 뛰어넘었으며, 특히 소프트 어텐션 버전이 더 뛰어난 성능을 보였다.
• 소프트 어텐션 메커니즘은 Breakout에서 공의 궤적에, Seaquest에서는 산소 게이지와 적의 위치에 집중하는 것으로 성공적으로 시각화되었다.
• 하드 어텐션 메커니즘은 Seaquest에서 수면으로 올라오는 행동을 학습하지 못했으며, 정책 기반 강화 학습에서 局부 최적화점에 갇힌 탓일 가능성이 높다.
• Breakout에서는 소프트 또는 하드 DARQN 모델이 원래 DQN의 성능을 초월하지 못했으며, 이는 편향 깊이나 학습 안정성의 한계를 시사한다.
• 어텐션 시각화 결과는 에이전트가 공이나 적 등 관련 게임 요소들 사이에서 집중 영역을 동적으로 이동시키고 있음을 확인했으며, 의사결정 과정의 해석 가능성을 제공한다.
• 어텐션 메커니즘은 주목할 만한 영역에 집중함으로써 효과적인 입력 크기를 줄였으며, 이는 계산 효율성 향상 잠재력을 시사하지만, 본 논문에서는 명시적으로 정량화되지 않았다.