[논문 리뷰] Adaptive Discretization for Model-Based Reinforcement Learning

Sean R. Sinclair, Tianyu Wang외 3명|arXiv (Cornell University)|2020. 07. 01.

Advanced Bandit Algorithms Research참고 문헌 57인용 수 9

한 줄 요약

이 논문은 데이터 기반의 필요에 따라 상태-행동 공간의 분할을 동적으로 정교화하는 적응형 이산화(Adaptive Discretization)를 제안한다. 이는 메모리와 계산 비용을 줄이면서도 경쟁 가능한 손실 한계를 유지한다. 이 방법은 고정 이산화보다 수렴 속도가 빠르고 저장 용량을 적게 사용하며, 적응형 분할을 통해 모델 기반 방법과 비교해 성능이 유사하거나 뛰어나다.

ABSTRACT

We introduce the technique of adaptive discretization to design an efficient model-based episodic reinforcement learning algorithm in large (potentially continuous) state-action spaces. Our algorithm is based on optimistic one-step value iteration extended to maintain an adaptive discretization of the space. From a theoretical perspective we provide worst-case regret bounds for our algorithm which are competitive compared to the state-of-the-art model-based algorithms. Moreover, our bounds are obtained via a modular proof technique which can potentially extend to incorporate additional structure on the problem. From an implementation standpoint, our algorithm has much lower storage and computational requirements due to maintaining a more efficient partition of the state and action spaces. We illustrate this via experiments on several canonical control problems, which shows that our algorithm empirically performs significantly better than fixed discretization in terms of both faster convergence and lower memory usage. Interestingly, we observe empirically that while fixed-discretization model-based algorithms vastly outperform their model-free counterparts, the two achieve comparable performance with adaptive discretization.

연구 동기 및 목표

• 큰 또는 연속적인 상태-행동 공간에서 고정 이산화의 비효율성을 해결하기 위해 데이터 기반으로 분할을 적응적으로 조정한다.
• 리프시츠 연속성 가정 하에 증명 가능한 최악의 경우 손실 한계를 갖는 모델 기반 강화 학습 알고리즘을 설계한다.
• 온라인 강화 학습에서 저장 용량과 계산 비용을 줄이기 위해 관련성 있고 세밀한 분할만 유지한다.
• 적응형 이산화가 모델 기반 강화 학습이 모델 기반 방법과 비교해 성능을 유사하거나 뛰어나게 할 수 있는지 경험적으로 평가한다.
• 손실 분석을 위한 모듈러한 증명 프레임워크를 제공하여 구조적 문제로의 확장 가능성을 고려한다.

제안 방법

• 알고리즘은 상태 및 행동 공간의 적응형 데이터 기반 분할을 사용하는 낙관적 1단계 가치 반복을 수행한다.
• 보상과 전이 확률의 추정치를 유지하며, 높은 불확실성 또는 가치를 보이는 영역에서만 분할을 정교화한다.
• 분할은 UCB 원리와 유사하게 샘플링이 부족한 영역에서 탐색을 장려하는 보너스 항을 통해 유도된다.
• 분할 수가 필요한 곳에서만 증가하여 저장 용량과 계산 비용을 최소화한다.
• 역동성과 보상 함수의 리프시츠 연속성을 활용해 추정 오차를 제한하고 손실 보장을 유도한다.
• 빠른 Q값 및 카운트 조회 및 갱신을 지원하기 위해 효율적인 데이터 구조를 활용한다.

실험 결과

연구 질문

• RQ1 적응형 이산화가 손실 성능을 희생시키지 않고 모델 기반 강화 학습의 메모리 및 계산 비용을 줄일 수 있는가?
• RQ2 연속적인 MDP에서 적응형 이산화의 손실은 최첨단 모델 기반 알고리즘과 비교해 어떻게 되는가?
• RQ3 적응형 이산화가 실질적으로 모델 기반 강화 학습이 모델 기반 방법과 유사한 성능을 달성할 수 있도록 하는가?
• RQ4 손실 분석을 구조적 가정을 추가로 포함할 수 있도록 모듈러하게 확장할 수 있는가?
• RQ5 분할의 동적 정교화가 수렴 속도와 최종 정책 품질에 어떻게 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 최악의 경우 손실 한계가 최첨단 모델 기반 알고리즘과 경쟁 가능하며, 수렴 시간과 문제 차원에 따라 유리하게 스케일링된다.
• 적응형 이산화로 인해 고정 이산화 대비 저장 용량을 크게 줄일 수 있었으며, 분할 크기는 높은 가치 영역에서만 증가했다.
• 기름 탐사 및 응급차 배치 문제에서의 실험 결과, 적응형 방법은 고정 이산화 기반 베이스라인보다 더 빠르게 수렴하고 더 적은 메모리를 사용했다.
• 경험적으로 적응형 모델 기반 알고리즘이 모델 기반 방법과 유사한 성능을 보였으며, 일반적으로 고정 이산화 모델 기반 방법에 열등했던 모델 기반 방법의 성능을 뛰어넘었다.
• 적응형 분할 전략은 최적의 Q값이 높은 영역에서 더 미세한 격자로 정렬되어 학습 효율성이 향상됨을 보였다.
• 모델 기반 알고리즘 대비 모델 자유형 적응 Q-학습 알고리즘이 더 세밀한 분할을 유지함으로써 탐색 행동이 다름을 시사했다.