[논문 리뷰] DORA The Explorer: Directed Outreaching Reinforcement Action-Selection

Leshem Choshen, Lior Fox외 1명|arXiv (Cornell University)|2018. 04. 11.

Open Source Software Innovations인용 수 37

한 줄 요약

이 논문은 상태-행동 경로를 따라 탐색가치를 전파하는 모델에 의존하지 않는 방문 카운터의 일반화인 E-값을 도입한다. 이는 강화학습에서 방향성 있는 탐색을 가능하게 한다. E-값을 Q-학습에 탐색 보너스로 통합함으로써 더 빠른 수렴과 뛰어난 성능을 달성한다. 이는 도전적인 Freeway Atari 게임에서 DQN과 밀도 모델 카운터를 능가하며, 이전 방법들이 약 1000만 번의 단계가 필요한 데 비해 약 200만 번의 단계 만에 최적 성능에 도달한다.

ABSTRACT

Exploration is a fundamental aspect of Reinforcement Learning, typically implemented using stochastic action-selection. Exploration, however, can be more efficient if directed toward gaining new world knowledge. Visit-counters have been proven useful both in practice and in theory for directed exploration. However, a major limitation of counters is their locality. While there are a few model-based solutions to this shortcoming, a model-free approach is still missing. We propose $E$-values, a generalization of counters that can be used to evaluate the propagating exploratory value over state-action trajectories. We compare our approach to commonly used RL techniques, and show that using $E$-values improves learning and performance over traditional counters. We also show how our method can be implemented with function approximation to efficiently learn continuous MDPs. We demonstrate this by showing that our approach surpasses state of the art performance in the Freeway Atari 2600 game.

연구 동기 및 목표

• 지역적 방문 카운터의 한계를 해결하기 위해 방문 카운터를 상태-행동 경로를 따라 탐색가치를 전파할 수 있도록 일반화함으로써 방향성 있는 탐색을 가능하게 한다.
• 밀도 모델이나 환경 모델에 의존하지 않고 지식 기반의 효율적인 탐색을 가능하게 하는 모델에 의존하지 않는 접근법을 개발한다.
• 특히 복잡한 연속적인 MDP에서 표본 효율성과 수렴 속도를 향상시킨다.
• 실제 강화학습 벤치마크, 예를 들어 Atari 2600의 Freeway에서 E-값의 효과성을 입증한다.

제안 방법

• 학습된 가치 함수를 사용하여 상태-행동 경로를 따라 탐색가치를 전파하는 방문 카운터의 일반화로 E-값을 제안한다.
• E-값 기반 보너스 항 $ \frac{\beta}{\sqrt{-\log E}} $ 를 보상 신호에 추가하여 낮은 E-값 상태의 탐색을 장려한다.
• 두 개의 스트림으로 구성된 신경망 아키텍처를 사용한다: 하나는 Q-값을 위한 것이고, 다른 하나는 E-값을 위한 것으로, $ 0 < E < 1 $ 를 보장하기 위해 로지스틱 활성화 함수를 사용한다.
• $ \epsilon $-greedy 행동 선택을 E-값 보너스와 함께 적용하여 표준 DQN 학습과의 호환성을 유지한다.
• 함수 근사 기법을 활용하여 E-값을 연속적인 상태와 행동 공간에 확장함으로써 명시적인 상태 이산화가 필요 없도록 한다.
• E-값 스트림을 초기화할 때 가중치를 0으로 설정하여 시작 시 $ E \approx 0.5 $ 가 되도록 하여 $ 0 < E < 1 $ 조건을 만족시킨다.

실험 결과

연구 질문

• RQ1 E-값이 모델에 의존하지 않는 강화학습에서 방문 카운터를 효과적으로 일반화하여 방향성 있는 탐색을 가능하게 할 수 있는가?
• RQ2 경로를 따라 탐색가치를 전파함으로써 지역적 카운터보다 표본 효율성이 향상되는가?
• RQ3 연속적인 MDP에서 함수 근사를 통해 E-값을 효율적으로 구현할 수 있는가?
• RQ4 밀도 모델 기반 탐색과 비교했을 때 E-값 보너스의 학습 속도와 성능는 어떠한가?
• RQ5 E-값이 복잡한 탐색 환경인 Freeway와 같이 어려운 환경에서 표준 DQN과 기존 탐색 기준선을 능가할 수 있는가?

주요 결과

• E-값 방법은 Atari 2600의 Freeway 게임에서 약 200만 번의 학습 단계 만에 최적 성능에 도달하였으며, 이는 이전 방법들이 약 1000만 번의 단계가 필요한 것과 비교해 상당히 빠른 속도이다.
• 최종 성능와 표본 효율성 측면에서 표준 DQN과 밀도 모델 카운터를 모두 능가하였다.
• 밀도 모델 카운터를 사용한 학습보다 E-값을 사용한 학습이 약 10배 빠르게 이루어졌으며, 이는 효율적인 이중 스트림 신경망 아키텍처 덕분이었다.
• E-값 보너스는 궤적 별 수렴도 그래프를 통해 Q-값이 최적 가치 함수로 수렴하는 데 더 빠른 경향을 보였다.
• 깊은 신경망을 통한 효과적인 함수 근사 덕분에 연속적인 MDP에서 강건성과 확장성을 입증하였다.
• 이미 알려진 고위험 행동에 대한 반복적인 탐색을 줄여 학습 효율성을 향상시켰다.