[논문 리뷰] Organizing Experience: A Deeper Look at Replay Mechanisms for Sample-based Planning in Continuous State Domains

Yangchen Pan, Muhammad Zaigham Zaheer외 3명|arXiv (Cornell University)|2018. 06. 12.

Machine Learning and Algorithms참고 문헌 11인용 수 10

한 줄 요약

이 논문은 연속 상태 공간에서 샘플 기반 계획을 향상시키기 위해 재가중 경험 모델(REMs)을 사용하여 이전 상태와 온정책 전이를 효율적으로 샘플링하는 반모수적 모델 기반 강화학습 방법인 REM-Dyna을 제안한다. REM-Dyna는 경험 재생 및 기타 모델 기반 기준보다 특히 스토케스틱하고 고차원적인 연속 도메인에서 뛰어난 성능을 보이며, 지능적인 상태 선택을 통해 더 효과적이고 데이터 효율적인 계획을 가능하게 한다.

ABSTRACT

Model-based strategies for control are critical to obtain sample efficient learning. Dyna is a planning paradigm that naturally interleaves learning and planning, by simulating one-step experience to update the action-value function. This elegant planning strategy has been mostly explored in the tabular setting. The aim of this paper is to revisit sample-based planning, in stochastic and continuous domains with learned models. We first highlight the flexibility afforded by a model over Experience Replay (ER). Replay-based methods can be seen as stochastic planning methods that repeatedly sample from a buffer of recent agent-environment interactions and perform updates to improve data efficiency. We show that a model, as opposed to a replay buffer, is particularly useful for specifying which states to sample from during planning, such as predecessor states that propagate information in reverse from a state more quickly. We introduce a semi-parametric model learning approach, called Reweighted Experience Models (REMs), that makes it simple to sample next states or predecessors. We demonstrate that REM-Dyna exhibits similar advantages over replay-based methods in learning in continuous state problems, and that the performance gap grows when moving to stochastic domains, of increasing size.

연구 동기 및 목표

• 경험 재생의 한계를 해결하기 위해 연속적이고 스토케스틱한 강화학습 도메인에서 더 높은 샘플 효율성을 갖춘 모델 기반 대안을 도입하기 위해.
• 1단계 계획을 위한 연속 상태 공간에서 사용 가능한 데이터 효율적이고, 인크리멘탈이며 확장 가능한 모델 학습 방법을 개발하기 위해.
• 예측 제어 전략—예를 들어 이전 상태 샘플링, 온정책 샘플링, 최근성 우선순위화—이 Dyna 스타일 알고리즘의 계획 성능에 미치는 영향을 조사하기 위해.
• 표본 기반 계획과 경험 재생을 표본 수가 적은 타블루러 및 연속 상태 설정에서 비교하여, 모델 기반 계획이 언제 어떤 이유로 우월한지를 규명하기 위해.
• 기능 근사에서 Dyna 스타일 계획을 지원하는 데 있어 다양한 모델 유형(선형, 신경망, REMs)의 효과를 평가하기 위해.

제안 방법

• 작은 수의 프로토타입과 학습 가능한 계수를 사용하여 조건부 다음 상태 및 보상 분포를 학습하는 반모수적 모델인 재가중 경험 모델(REMs)을 도입한다.
• 모델 학습을 단순화하기 위해 조건부 독립성 가정을 적용하여 다음 상태 및 이전 상태 분포를 효율적으로 계산할 수 있도록 한다.
• 시간 차분 오차 기반의 단순 학습 규칙을 사용하여 전체 재학습 없이도 인크리멘탈 업데이트가 가능하도록 한다.
• 에이전트가 상태와 행동의 검색 제어 큐에서 샘플링하는 Dyna 스타일 계획 프레임워크 내에서 REMs를 적용하며, 높은 TD 오차 상태의 이전 상태를 우선순위로 샘플링한다.
• 검색 제어 큐에서 온정책 샘플링과 최근성 기반의 삭제를 구현하여 데이터의 관련성 향상과 분포 이탈 감소를 도모한다.
• 표본 수가 적은 타블루러 및 연속 상태 환경(예: 그리드월드, 리버 스위머)을 사용하여 REM-Dyna를 경험 재생 및 기타 모델 기반 기준과 비교한다.

실험 결과

연구 질문

• RQ1 특히 높은 우선순위 상태의 이전 상태를 샘플링함으로써 모델을 사용해 상태 선택을 안내하는 것이 연속 MDP에서 샘플 효율성을 향상시키는가?
• RQ2 다양한 모델 유형(선형, 신경망, REMs)이 연속적이고 스토케스틱한 도메인에서 Dyna 스타일 계획의 성능에 어떤 영향을 미치는가?
• RQ3 어떤 조건에서 지능적인 검색 제어를 갖춘 Dyna 스타일 계획이 경험 재생을 능가하는가? 그리고 그 이유는 무엇인가?
• RQ4 기능 근사에서 모델 학습의 데이터 효율성이 Dyna 스타일 계획의 효과성에 어느 정도 영향을 미치는가?
• RQ5 최근성, 우선순위, 온정책 샘플링과 같은 설계 선택 사항이 비정상적인 또는 스토케스틱 환경에서 계획 알고리즘 성능에 어떤 영향을 미치는가?

주요 결과

• REMDyna는 연속 그리드월드와 리버 스위머 환경 모두에서 모든 경험 재생 변종 및 기타 모델 기반 기준을 능가하는 뛰어난 성능을 달성했다.
• 리버 스위머에서 어떤 경험 재생 변종도 20,000단계 이내에 최적 수익의 85%에 도달하지 못했지만, 모든 REM-Dyna 변종은 이를 달성했으며, 이전 상태 샘플링 변종이 가장 우수한 성능을 보였다.
• 선형 Dyna의 성능은 낮은 모델 정확도와 스텝 사이즈 조정에 대한 높은 민감도로 인해 열악했으며, 이는 성능 향상이 효과적인 계획이기보다는 Q-러닝 업데이트 덕분임을 시사한다.
• 신경망 모델은 초기에 낮은 데이터 효율성으로 인해 성능이 열악했고, 수만 단계가 지난 후에야 향상되기 시작했으며, 이는 Dyna에서 데이터 효율적인 모델이 필요하다는 점을 강조한다.
• REMDyna에서 이전 상태와 온정책 전이의 사용은 특히 스토케스틱 도메인에서 더 빠른 학습과 더 나은 샘플 효율성을 이끌어내었다.
• 검색 제어 큐에서 최근성 기반의 샘플 삭제가 Dyna와 ER 모두에서 우선순위 기반 삭제보다 뛰어난 성능을 보였으며, 이는 비정상적인 설정에서 최근 경험은 높은 TD 오차 샘플보다 더 가치가 있다는 것을 시사한다.