[논문 리뷰] Explicit Explore-Exploit Algorithms in Continuous State Spaces

Mikael Henaff|arXiv (Cornell University)|2019. 11. 01.

Reinforcement Learning in Robotics인용 수 14

한 줄 요약

이 논문은 연속적 또는 큰 상태 공간에서 탐색과 이용 단계를 명시적으로 분리하는 모델 기반 강화학습 알고리즘을 제안한다. 이를 위해 관측된 경험과 일관된 다수의 동역학 모델을 유지하며, 탐색은 모델 예측 간의 불일치를 최대화하고, 이용은 정교화된 모델을 사용한다. 이로써 구조적 복잡도 측도에 대해 다항 수준의 표본 복잡도를 갖는 증명 가능한 표본 효율적 학습을 달성하며, 신경망을 사용하여 실증적으로 검증되었다.

ABSTRACT

We present a new model-based algorithm for reinforcement learning (RL) which consists of explicit exploration and exploitation phases, and is applicable in large or infinite state spaces. The algorithm maintains a set of dynamics models consistent with current experience and explores by finding policies which induce high disagreement between their state predictions. It then exploits using the refined set of models or experience gathered during exploration. We show that under realizability and optimal planning assumptions, our algorithm provably finds a near-optimal policy with a number of samples that is polynomial in a structural complexity measure which we show to be low in several natural settings. We then give a practical approximation using neural networks and demonstrate its performance and sample efficiency in practice.

연구 동기 및 목표

• 표본 효율적인 강화학습 알고리즘을 개발하여, 표본 표본 수가 적은 표본 기반 방법이 실패하는 큰 또는 연속적 상태 공간에 적용한다.
• 일관된 동역학 모델 집합 간의 불일치를 최대화하는 정책을 식별하여 체계적인 탐색을 가능하게 한다.
• 알고리즘이 모델 오차 행렬의 질서에 대해 다항 수준의 표본 복잡도로 근사 최적 정책을 찾을 수 있음을 증명한다.
• 실세계 환경에서 표본 효율성을 유지하는 실용적인 구현을 제공한다.

제안 방법

• 관측된 경험과 일관된 동역학 모델 집합을 유지하며, 새로운 데이터가 수집될수록 이를 갱신한다.
• 가짜 MDP를 풀어 탐색을 수행하며, 상태는 모델 상태의 연결이고 보상은 모델 예측 간 분포 불일치(예: KL 발산)이다.
• 시간 단계에 걸쳐 모델 예측 간 불일치를 측정하기 위해 거리 척도 δ(예: KL 발산 또는 총 변동 거리)를 사용한다.
• 충분한 불일치를 유도하는 정책이 없을 경우, 누적 보상을 최대화하기 위해 단일 모델을 선택하여 이용 단계로 전환한다.
• 신경망을 사용하여 동역학 모델을 근사하고, 이용 단계에서 DQN 또는 PPO를 사용하여 정책 최적화를 수행한다.
• 탐색에서 수집한 트레이젝터리를 저장하기 위해 리PLAY 버퍼를 사용하며, 수집된 데이터를 바탕으로 지도학습을 통해 모델을 보정한다.

실험 결과

연구 질문

• RQ1 모델 불일치를 기반으로 한 명시적 탐색이 연속적 또는 큰 상태 공간에서 표본 효율적 학습을 달성할 수 있는가?
• RQ2 실현 가능성과 최적 계획 가정 하에, 이러한 알고리즘의 표본 복잡도를 결정짓는 구조적 복잡도 측도는 무엇인가?
• RQ3 앙상블 구성원 간의 모델 불일치가 고차원 또는 무한 상태 공간에서 효과적인 탐색을 어떻게 이끌어내는가?
• RQ4 신경망 기반의 근사가 실생활에서 표본 효율성을 유지할 수 있는가?
• RQ5 연속 제어 및 탐색 작업에서 내재적 호기심 또는 RND 기반 탐색과 비교해 볼 때 알고리즘의 성능은 어떠한가?

주요 결과

• 알고리즘은 모델 오차 행렬의 질서에 대해 다항 수준의 표본 복잡도를 확보하며, 이는 인과 MDP 및 저질서 MDP와 같은 자연스러운 설정에서 낮은 값을 가진다.
• 미로 환경에서 DQN을 이용한 Neural-E3 에이전트는 MCTS 기반 계획보다 뛰어난 성능을 보였으며, 특히 오락적 보상 설계 상황에서 검색 편향이 감소하여 유리했다.
• 연속 제어 작업에서 Neural-E3는 DQN을 사용하여 뛰어난 성능을 달성했으며, 탐색에서 수집된 경험을 바탕으로 750,000번의 DQN 업데이트를 통해 이용 단계를 학습했다.
• 모델 불일치 측도는 미리 탐색되지 않은 영역을 효과적으로 식별했으며, 미로 작업에서 모델들은 스텝 28까지 일치했지만 스텝 29에서 갈라지며 중요한 탐색 포인트를 알렸다.
• 알고리즘은 보상 설계에 대해 강건했으며, 희박하거나 속임성 있는 보상 환경에서 베이스라인을 능가하는 성능을 보였다.
• 하이퍼파rameter 튜닝 결과, 우선순위 리플레이와 적절한 학습률이 안정적인 학습에 필수적이었으며, 파rameter 노이즈는 성능 향상에 기여하지 않았다.