[논문 리뷰] Exploration--Exploitation in MDPs with Options

Ronan Fruit, Alessandro Lazaric|arXiv (Cornell University)|2017. 03. 25.

Reinforcement Learning in Robotics인용 수 17

한 줄 요약

이 논문은 마코프 결정 과정(MDPs)에서 옵션을 사용한 강화학습에 대한 최초의 위험 분석을 제공하며, 시간적으로 연장된 동작(옵션)을 사용할 경우 기본 동작으로 학습하는 것보다 위험을 증명적으로 감소시킬 수 있음을 보여준다. 옵션 기반 학습을 반-마코프 결정 과정(SMDP)으로 모델링함으로써, UCRL의 변종에 대한 위험의 상한 및 하한을 도출하여, 잘 설계된 옵션이 고차원적이거나 계층적인 과제에서 표본 효율성을 크게 향상시킬 수 있음을 입증한다.

ABSTRACT

While a large body of empirical results show that temporally-extended actions and options may significantly affect the learning performance of an agent, the theoretical understanding of how and when options can be beneficial in online reinforcement learning is relatively limited. In this paper, we derive an upper and lower bound on the regret of a variant of UCRL using options. While we first analyze the algorithm in the general case of semi-Markov decision processes (SMDPs), we show how these results can be translated to the specific case of MDPs with options and we illustrate simple scenarios in which the regret of learning with options can be extit{provably} much smaller than the regret suffered when learning with primitive actions.

연구 동기 및 목표

• 온라인 강화학습에서 옵션이 언제이고 어떻게 학습 성능을 향상시키는지 이론적으로 이해하기 위해.
• 옵션 기반 RL에 대한 위험 분석의 부재에도 불구하고 그 이점에 대한 강력한 경험적 증거가 존재하므로 이를 해결하기 위해.
• MDPs에서 옵션의 경험적 성공과 이론적 정당성 사이의 격차를 메우기 위해.
• 옵션 기반 학습을 모델링하는 반-마코프 결정 과정(SMDPs)에서 UCRL 변종에 대한 위험 한계를 유도하기 위해.
• SMDP의 위험 한계를 MDPs에서 옵션을 사용할 경우의 위험 한계로 변환하여, 옵션이 기본 동작보다 위험을 줄이는 조건을 규명하기 위해.

제안 방법

• 옵션 프레임워크를 반-마코프 결정 과정(SMDP)으로 공식화하여, 옵션이 랜덤한 체류 시간과 누적 보상과 함께 전이를 유도함을 모델링한다.
• UCRL 알고리즘을 SMDPs에 적응시켜 전이 및 보상 추정치의 신뢰구간을 통해 탐색과 이용의 균형을 유지한다.
• 보상과 체류 시간에 대한 하중 꼬리 가정을 사용하여 SMDP-UCRL 알고리즘의 위험 상한을 도출한다.
• 옵션을 사용한 학습의 기본 한계를 규명하기 위해 위험의 하한을 확립한다.
• SMDP 위험 한계를 MDPs에서 옵션을 사용할 경우의 위험 한계로 변환하여, 옵션이 기본 동작보다 위험을 줄이는 조건을 규명한다.
• 마팅글레 이론과 강한 대수법칙을 사용하여 옵션 유무에 따른 위험 비율의 渐近적 행동을 분석한다.

실험 결과

연구 질문

• RQ1 옵션을 사용할 경우 온라인 강화학습에서 기본 동작으로 학습하는 것보다 위험을 줄일 수 있는 조건은 무엇인가?
• RQ2 특히 옵션의 기대 체류 시간과 가용성(접근 가능성)이 위험 측면에서 학습 효율성에 어떻게 영향을 미치는가?
• RQ3 옵션을 기본 동작 대신 사용할 경우 UCRL 스타일 알고리즘에 대한 이론적 위험 한계를 도출할 수 있는가?
• RQ4 옵션에 의해 유도된 SMDP의 지름과 학습 알고리즘의 위험 간의 관계는 무엇인가?
• RQ5 보상과 체류 시간에 대한 하중 가정이 옵션 기반 학습의 渐近적 위험 행동에 어떻게 영향을 미치는가?

주요 결과

• 옵션을 사용한 학습의 위험은 기본 동작으로 학습하는 것보다 증명적으로 작을 수 있으며, 특히 옵션이 짧은 기대 체류 시간과 높은 접근 가능성을 가질 경우 더욱 그렇다.
• 보상과 체류 시간이 유계일 경우, 옵션을 사용한 학습과 사용하지 않은 학습 간의 渐近적 위험 비율은 $ \frac{1}{\sqrt{\tau_{\min}}}\left(1 + \frac{T_{\max}}{D\sqrt{S}}\right) $ 로 상한이 존재하며, 여기서 $ \tau_{\min} $ 은 최소 기대 체류 시간을 의미한다.
• 이론적 상한이 실험 결과와 매우 유사하게 일치하여, 이 한계가 성능 향상의 신뢰할 수 있는 대체 지표임을 검증한다.
• 비율 $ \frac{T_n}{n} $ 은 옵션 단위당 평균 기본 단계 수를 나타내며, 거의 확실히 $ \tau_{\min} $ 과 $ \tau_{\max} $ 사이의 값으로 수렴하여 장기적 학습에서 안정성을 보장한다.
• 고분산 또는 꼬리가 두꺼운 체류 시간이 존재하는 상황에서는, confidence interval의 $ \sqrt{\log n} $ 스케일링으로 인해 위험 향상이 이루어지지 않을 수 있으며, 이는 옵션 설계의 중요성을 강조한다.
• 결과적으로 옵션이 목표 향한 진행을 더 빠르게 가능하게 하여, 효과적인 결정을 내리기 위한 기본 단계 수를 줄일 수 있을 때 가장 유익하다.