[논문 리뷰] An Experimental Design Perspective on Model-Based Reinforcement Learning

Viraj Mehta, Biswajit Paria외 3명|arXiv (Cornell University)|2021. 12. 09.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 비용이 많이 들거나 계산적으로 비효율적인 전이 함수에서 가장 정보가 많은 상태-행동 쌍을 쿼리하기 위해 베이지안 최적 실험 설계를 사용하는 데이터 효율적인 강화학습 알고리즘을 제안한다. 최적 정책 궤적에 대한 기대 정보 이득을 최대화함으로써, 이 방법은 연속 제어 및 플라즈마 제어 과제에서 모델 기반 기준 대비 최대 1,000배, 모델 프리 기준 대비 10⁵배의 샘플 효율성 향상을 달성한다.

ABSTRACT

In many practical applications of RL, it is expensive to observe state transitions from the environment. For example, in the problem of plasma control for nuclear fusion, computing the next state for a given state-action pair requires querying an expensive transition function which can lead to many hours of computer simulation or dollars of scientific research. Such expensive data collection prohibits application of standard RL algorithms which usually require a large number of observations to learn. In this work, we address the problem of efficiently learning a policy while making a minimal number of state-action queries to the transition function. In particular, we leverage ideas from Bayesian optimal experimental design to guide the selection of state-action queries for efficient learning. We propose an acquisition function that quantifies how much information a state-action pair would provide about the optimal solution to a Markov decision process. At each iteration, our algorithm maximizes this acquisition function, to choose the most informative state-action pair to be queried, thus yielding a data-efficient RL approach. We experiment with a variety of simulated continuous control problems and show that our approach learns an optimal policy with up to $5$ -- $1,000 imes$ less data than model-based RL baselines and $10^3$ -- $10^5 imes$ less data than model-free RL baselines. We also provide several ablated comparisons which point to substantial improvements arising from the principled method of obtaining data.

연구 동기 및 목표

• 각 상태 전이 쿼리가 계산적 또는 재정적으로 비용이 많이 드는 환경에서 강화학습의 높은 샘플 복잡도 문제를 해결하기 위해.
• 최적 정책 학습에 기여하는 기여도를 기반으로 쿼리를 우선순위화하는 데이터 선택 전략을 개발하여, 단지 동역학 모델 향상에만 초점을 맞추지 않기 위해.
• 모델 기반 강화학습에서 연속적이고 고차원적인 마르코프 결정 과정에 대해 베이지안 최적 실험 설계를 확장하기 위해.
• 모델 시뮬레이션이 비용이 많이 드는 실제 응용 분야, 예를 들어 핵 fusion 플라즈마 제어에서 효율적인 학습을 가능하게 하기 위해.
• 어려운 환경에서 안정성을 유지하면서도 기존의 모델 기반 및 모델 프리 RL 기준 대비 샘플 효율성에서 뛰어난 성능을 내기 위해.

제안 방법

• 최적 정책 궤적에 대한 기대 정보 이득(EIG)을 기반으로 한 새로운 할당 함수를 제안하며, 이를 EIGτ*로 표기한다.
• 후행 표본을 사용하여 새로운 쿼리가 최적 정책 궤적에 대한 불확실성 감소에 기여할 기대 감소를 추정한다.
• TQRL(전이 쿼리 강화학습) 환경에서 전이 함수에 대한 순차적 쿼리 지도를 위해 EIGτ*를 최대화하는 상태-행동 쌍을 선택한다.
• 불확실성을 정량화하고 쿼리 선택에 정보를 제공하기 위해 베이지안 동역학 모델(Gaussian processes를 현재 구현에서 사용)을 사용한다.
• 최소한의 쿼리로 정책과 동역학 추정치를 반복적으로 향상시키는 모델 기반 RL 프레임워크 내에 할당 함수를 통합한다.
• 후행 표본을 기반으로 한 MPC 기반 롤아웃을 사용하여 각 잠재적 쿼리가 정책 성능에 미치는 영향을 추정한다.

실험 결과

연구 질문

• RQ1 최적 정책 궤적에 대한 기대 정보 이득이 데이터 효율적 강화학습을 위한 효과적인 할당 함수로 기능할 수 있는가?
• RQ2 EIGτ*를 기반으로 쿼리를 선택할 경우, 표준 MBRL 및 MFRL 기준 대비 샘플 복잡도가 유의미하게 감소하는가?
• RQ3 이 방법은 높은 차원성과 도전적인 환경(예: 라바 패스 및 플라즈마 제어 포함)을 포함한 다양한 연속 제어 과제에 일반화 가능한가?
• RQ4 EIGτ*는 동역학에 대한 기대 정보 이득(EIGT)과 같은 대안 할당 함수와 비교해 데이터 효율성과 정책 성능 측면에서 어떻게 다른가?
• RQ5 할당 계산 과정에서 목표 궤적을 생성하기 위해 최적 정책이 아닌 정책을 사용할 경우, 이 방법의 효과성은 어느 정도 유지되는가?

주요 결과

• 제안된 BARL 알고리즘은 연속 제어 과제에서 모델 기반 RL 기준 대비 최대 1,000배의 샘플 복잡도 감소를 달성한다.
• BARL은 모델 프리 RL 기준 대비 데이터 요구량을 10³–10⁵배까지 감소시켜 놀라운 데이터 효율성을 입증한다.
• 도전적인 라바 패스 환경에서 BARL은 몇 번의 쿼리 안에 안전한 정책을 성공적으로 학습하는 반면, 다른 방법들은 불안정성과 열악한 탐색으로 실패한다.
• BARL은 EIGT 및 MPC 기반 기준 대비 정책 관련 영역에 집중함으로써, 상태 공간을 균일하게 탐색하는 것보다 더 나은 성능을 내며 쿼리를 선택한다.
• 랜덤 데이터에 대한 일반화 오차는 열악하지만, BARL은 동역학 모델링을 향상시키는 것 외에도 정책 향상을 위한 데이터를 우선순위로 삼기 때문에 뛰어난 제어 성능을 달성한다.
• 제거 실험 결과는 EIGτ*가 EIGT 및 MPC 기반 전략보다 더 효과적임을 확인하며, 특히 리처 및 베타 트래킹과 같은 고차원 또는 비연속적인 환경에서 뚜렷한 우수성을 보인다.