[논문 리뷰] QXplore: Q-Learning Exploration by Maximizing Temporal Difference Error

Riley Simmons-Edler, Ben Eisner외 5명|arXiv (Cornell University)|2019. 09. 25.

Receptor Mechanisms and Signaling인용 수 5

한 줄 요약

이 논문은 극도로 희박한 보상 환경에서 탐색을 효과적으로 수행하기 위해 외재적 Q-네트워크의 절대 시간차분 오차(TD 오차)를 보조 내재 보상으로 사용하는 QXplore라는 탐색 방법을 제안한다. 외재적 보상과 TD 오차 기반 내재 보상 간의 조합을 적대적 Q-학습 프레임워크를 통해 구현함으로써 QXplore는 희박한 보상 환경에서 수렴 속도를 가속화하면서도, 보상이 없거나 희박한 환경에서도 새로운 상태를 탐색하는 행동을 유지한다. 이는 연속 제어 벤치마크에서 최신 기술보다 뛰어난 성능을 발휘한다.

ABSTRACT

A major challenge in reinforcement learning is exploration, especially when reward landscapes are sparse. Several recent methods provide an intrinsic motivation to explore by directly encouraging agents to seek novel states. A potential disadvantage of pure state novelty-seeking behavior is that unknown states are treated equally regardless of their potential for future reward. In this paper, we propose an exploration objective using the temporal difference error experienced on extrinsic rewards as a secondary reward signal for exploration in deep reinforcement learning. Our objective yields novelty-seeking in the absence of extrinsic reward, while accelerating exploration of reward-relevant states in sparse (but nonzero) reward landscapes. This objective draws inspiration from dopaminergic pathways in the brain that influence animal behavior. We implement the objective with an adversarial Q-learning method in which Q and Qx are the action-value functions for extrinsic and secondary rewards, respectively. Secondary reward is given by the absolute value of the TD-error of Q. Training is off-policy, based on a replay buffer containing a mix of trajectories sampled using Q and Qx. We characterize performance on a set of continuous control benchmark tasks, and demonstrate comparable or faster convergence on all tasks when compared with other state-of-the-art exploration methods.

연구 동기 및 목표

• 희박하거나 지연된 외재적 보상이 존재하는 환경에서 효율적인 탐색을 해결하기 위해.
• 모든 알려지지 않은 상태를 동일하게 취급하는 기존의 상태 신선도 중심 탐색 방법의 한계를 극복하기 위해.
• 보상이 희박한 환경에서라도 향후 외재적 보상의 잠재력이 높은 상태를 우선적으로 탐색할 수 있는 방법을 개발하기 위해.
• 생물학적으로 유사한 신호인 TD 오차를 탐색 과정에 통합하여 보상과 관련된 상태로의 탐색을 유도하기 위해.

제안 방법

• 본 방법은 주요 Q-네트워크의 TD 오차 절댓값을 내재 보상 신호로 예측하는 보조 Q-네트워크 Qx를 도입한다.
• 내재 보상은 |δ| = |R + γ max_a' Q(s', a') - Q(s, a)|로 정의되며, 여기서 δ는 외재적 Q-네트워크의 TD 오차이다.
• Q와 Qx가 동시에 학습되는 적대적 훈련 체계를 사용하며, Q와 Qx를 모두 사용해 수집한 트레이젝터리를 공유하는 리PLAY 버퍼를 활용한다.
• 에이전트는 Q와 Qx로부터 유도된 혼합 정책을 사용해 탐색하며, Qx는 높은 예측 오차를 보이는 상태로 탐색을 유도한다. 이는 향후 보상 가능성이 높은 상태임을 시사한다.
• 훈련은 오프-폴리시이며, 외재적 및 내재적 탐색 정책에서 수집한 전이를 저장하는 리PLAY 버퍼를 활용한다.
• 본 방법은 딥 Q-네트워크를 사용해 연속 제어 벤치마크 과제에서 평가되었으며, 최신 기술 탐색 기준과의 성능 비교가 이루어졌다.

실험 결과

연구 질문

• RQ1 외재적 Q-네트워크의 TD 오차가 희박한 보상 환경에서 탐색을 유도하는 효과적인 내재 보상 신호로 기능할 수 있는가?
• RQ2 TD 오차를 보조 보상으로 사용할 경우, 연속 제어 과제에서 최신 기술 탐색 방법 대비 수렴 속도 향상이 이루어지는가?
• RQ3 제안된 방법은 향후 외재적 보상 잠재력이 높은 상태 탐색과 새로운 상태 탐색 간의 균형을 어떻게 유지하는가?
• RQ4 보상이 전혀 없는 환경에서 본 방법은 희박한 보상 설정에서 학습을 가속화하면서도 효과적인 탐색을 얼마나 잘 유지하는가?

주요 결과

• QXplore는 평가된 모든 연속 제어 벤치마크 과제에서 최신 기술 탐색 방법과 비교해 유사하거나 더 빠른 수렴 성능을 달성한다.
• 희박한 보상 환경에서 QXplore는 높은 TD 오차를 보이는 상태를 우선적으로 탐색함으로써 학습을 효과적으로 가속화한다. 이는 향후 외재적 보상 잠재력이 높은 상태와 관련이 있다.
• 보상이 없는 상황에서는 QXplore가 TD 오차를 불확실성과 잠재적 가치의 대체 지표로 활용함으로써 상태 신선도 중심 탐색 행동을 유지한다.
• TD 오차를 내재 신호로 통합함으로써 더 효율적인 탐색이 가능해졌으며, 높은 성능에 도달하는 데 필요한 단계 수가 감소했다.