[논문 리뷰] Deep Abstract Q-Networks

Melrose Roderick, Christopher Grimm외 1명|arXiv (Cornell University)|2017. 10. 02.

Reinforcement Learning in Robotics참고 문헌 14인용 수 7

한 줄 요약

이 논문은 몬테주마의 복수와 벤처와 같은 장기적 보상 간격을 가진 환경에서 성능을 높이기 위해 딥 Q-네트워크와 전문가가 제공한 상태 추상화를 조합한 계층적 강화학습 방법인 딥 애비스트 Q-네트워크(DAQN)를 제안한다. 상위 수준의 기호적 상태 추상화(예: 방과 열쇠 소지 여부)와 하위 수준의 픽셀 기반 표현을 통해 DAQN은 효과적인 장기 계획 수립과 후퇴 행동을 가능하게 하여, DQN과 내재 동기 유도 방법에 비해 도전적인 아케이드 2600 게임에서 뛰어난 성능을 발휘한다.

ABSTRACT

We examine the problem of learning and planning on high-dimensional domains with long horizons and sparse rewards. Recent approaches have shown great successes in many Atari 2600 domains. However, domains with long horizons and sparse rewards, such as Montezuma's Revenge and Venture, remain challenging for existing methods. Methods using abstraction (Dietterich 2000; Sutton, Precup, and Singh 1999) have shown to be useful in tackling long-horizon problems. We combine recent techniques of deep reinforcement learning with existing model-based approaches using an expert-provided state abstraction. We construct toy domains that elucidate the problem of long horizons, sparse rewards and high-dimensional inputs, and show that our algorithm significantly outperforms previous methods on these domains. Our abstraction-based approach outperforms Deep Q-Networks (Mnih et al. 2015) on Montezuma's Revenge and Venture, and exhibits backtracking behavior that is absent from previous methods.

연구 동기 및 목표

• 몬테주마의 복수와 벤처와 같은 고차원 환경에서 장기적 보상 간격을 가진 강화학습 문제를 해결한다.
• 기존 방법의 한계—특히 후퇴 및 장기적 계획 수립이 불가능한 점—을 극복하기 위해 모델 기반 추상화를 딥 강화학습과 융합한다.
• 상태 공간을 의미 있는 속성으로 분해하는 경량의 전문가 제공 상태 추상화를 통해 에이전트가 견고하고 재사용 가능한 고차원 정책을 학습할 수 있도록 한다.
• 계층적 추상화와 딥 러닝의 융합이 종단 간 딥 강화학습 또는 내재 동기 유도 접근법에 비해 탐색 및 장기적 계획 수립 효율성을 향상시킨다는 것을 입증한다.

제안 방법

• 전문가가 제공한 상태 추상화를 사용하여 기호적 고차원 상태(예: 현재 방, 열쇠 소지 여부)를 정의하고 전체 관측 공간을 이러한 추상 상태로 매핑한다.
• 추상 마르코프 결정 과정(AMDP) 수식을 적용하여 학습을 고차원 표본 MDP(장기적 계획을 위한)와 저차원 딥 Q-네트워크(픽셀 수준 제어를 위한)로 분리한다.
• 기호적 상태를 문장 함수를 사용해 요소로 분해(예: 방, 세그먼트, 아이템 수집 상태)함으로써 행동 공간의 조합 폭발을 방지한다.
• 고차원 정책이 추상 행동(예: '3번 방으로 이동')을 선택하고, 저차원 정책이 해당 시각적 탐색을 DQN을 통해 실행하는 계층적 에이전트를 학습한다.
• 이중 수준 학습 체계를 사용한다: L1 에이전트(고차원)는 표본 Q-학습을 통해 장기 정책을 학습하고, L0 에이전트(저차원)는 딥 Q-학습을 통해 상태-행동 가치를 학습한다.
• 고차원 에이전트는 추상 상태를 기반으로 계획을 수립하고, 저차원 에이전트는 세부적인 시각적 제어를 담당함으로써 후퇴 및 장기적 실행이 가능해진다.

실험 결과

연구 질문

• RQ1 전문가가 제공한 추상화를 통한 계층적 강화학습 프레임워크가 몬테주마의 복수와 벤처와 같은 장기적 보상 간격을 가진 환경에서 표준 딥 Q-네트워크를 능가할 수 있는가?
• RQ2 모델 기반 추상화를 딥 러닝과 융합함으로써 이전의 딥 강화학습 방법이 실패한 후퇴 행동—장기적 계획 수립에 필수적인 행동—을 가능하게 하는가?
• RQ3 내재 동기 유도 기반 에이전트(예: IM)와 비교할 때, 제안된 방법의 성능은 보상 간격이 짧고 관측 차원이 높은 환경에서 어떻게 나타나는가?
• RQ4 경량의 요소화된 상태 추상화를 사용함으로써 장기적 보상 간격 계획의 복잡도는 어느 정도 감소하며, 학습 효율성은 유지되는가?

주요 결과

• DAQN은 몬테주마의 복수와 벤처에서 딥 Q-네트워크(DQN)를 크게 능가하여 더 높은 누적 보상과 일관된 학습 성능을 기록했다.
• DQN과 내재 동기 유도(IM) 에이전트가 실패한 바, DAQN 에이전트는 다중 방 탐색 작업에 필수적인 후퇴 행동을 성공적으로 학습하고 실행했다.
• 몬테주마의 복수의 한 생명 설정에서 IM 에이전트는 위치와 열쇠 소지 여부를 독립적으로 간주하는 의사 수치 모델로 인해 후퇴 행동을 학습하지 못했다.
• 벤처에서 DAQN은 DQN과 IM 기반 모델보다 높은 평가 성능을 기록하여 네 개의 방과 복도를 통해 효과적인 장기적 계획 수립을 보여주었다.
• 벤처에서 약 3000만 프레임 지점에서 탐색 중에 이용 최적화 하위 정책에서 치명적인 기억 상실이 발생하여 성능 저하가 관측되었지만, 이후 전체 탐색을 완료한 후 복구되었다.
• 성공의 원인은 고차원 계획(표본 기반)과 저차원 제어(딥 러닝 기반)의 분리로, 최소한의 인간 공학적 추상화로 장기적 보상 간격 정책의 안정적 학습이 가능해졌기 때문이다.