[논문 리뷰] Exploration in Structured Reinforcement Learning

Jungseul Ok, Alexandre Proutière외 1명|arXiv (Cornell University)|2018. 06. 03.

Advanced Bandit Algorithms Research참고 문헌 12인용 수 12

한 줄 요약

이 논문은 유한 MDP에서 구조적 강화 학습(Reinforcement Learning, RL)을 위한 문제별 최소 손실 하한을 제안하며, 리프시츠-구조적 MDP에서는 손실이 시간에 따라 로그적으로 증가하고 상태 및 행동 공간 크기와는 독립적임을 보여준다. 이를 위해 구조적 특성을 활용하여 이러한 기본 하한을 달성하는 DEL(Directed Exploration Learning) 알고리즘을 제안하며, 보상 함수에 대한 사전 지식이 필요 없는 단순화된 변형도 제안하여 최적의 손실 스케일링을 유지한다.

ABSTRACT

We address reinforcement learning problems with finite state and action spaces where the underlying MDP has some known structure that could be potentially exploited to minimize the exploration rates of suboptimal (state, action) pairs. For any arbitrary structure, we derive problem-specific regret lower bounds satisfied by any learning algorithm. These lower bounds are made explicit for unstructured MDPs and for those whose transition probabilities and average reward functions are Lipschitz continuous w.r.t. the state and action. For Lipschitz MDPs, the bounds are shown not to scale with the sizes $S$ and $A$ of the state and action spaces, i.e., they are smaller than $c\log T$ where $T$ is the time horizon and the constant $c$ only depends on the Lipschitz structure, the span of the bias function, and the minimal action sub-optimality gap. This contrasts with unstructured MDPs where the regret lower bound typically scales as $SA\log T$. We devise DEL (Directed Exploration Learning), an algorithm that matches our regret lower bounds. We further simplify the algorithm for Lipschitz MDPs, and show that the simplified version is still able to efficiently exploit the structure.

연구 동기 및 목표

• 모르는 동역학과 보상이 있는 구조적 MDP에 대해 문제별 손실 하한을 유도하는 것.
• 특히 전이 확률과 보상의 리프시츠 연속성과 같은 구조적 특성이 손실 스케일링에 미치는 영향을 분석하는 것.
• 탐색과 이용의 최적 균형을 통해 도출된 손실 하한을 달성하는 알고리즘을 설계하는 것.
• 실제 구현에 적합하도록 알고리즘을 단순화하면서도, 구조적 환경에서 최적의 손실 성능을 유지하는 것.

제안 방법

• 정보 이론적 추론을 사용하여, MDP의 알려진 구조에 대해 유효한 문제별 손실 하한을 도출한다.
• 각 라운드에서 추정된 편향과 최적성 격차를 기반으로 탐색을 균형 잡는 최적화 문제를 해결하는 DEL(Directed Exploration Learning)를 도입한다.
• 리프시츠 MDP의 경우, DEL를 단순화하여 각 단계에서 정책 계산과 선형 프로그래밍만 필요로 하여 계산 오버헤드를 감소시킨다.
• 신뢰구간과 편향 함수 추정을 활용해 탐색을 이끌며, 비최적 행동은 필요할 때만 탐색하도록 보장한다.
• 사건 분해와 농도 불등식을 활용해 가치 추정과 정책 선택의 거의 확실 수렴을 증명한다.
• 예측된 비최적성과 구조적 제약 조건을 기반으로 행동 우선순위를 정하는 구조적 탐색 단계를 도입한다.

실험 결과

연구 질문

• RQ1 MDP의 구조적 특성—예를 들어 리프시츠 연속성—이 강화 학습에서 손실의 기본 한계에 어떻게 영향을 미치는가?
• RQ2 보상 함수와 동역학이 알려져 있지 않은 경우, 구조적 MDP에 대해 손실 하한을 도출할 수 있는가?
• RQ3 모든 구조에 대해 도출된 손실 하한을 달성할 수 있는 알고리즘이 존재하는가?
• RQ4 실제 사용에 적합하도록 알고리즘을 단순화할 수 있으며, 이때도 여전히 구조적 환경에서 최적의 손실 스케일링을 유지할 수 있는가?

주요 결과

• 비구조적 MDP의 경우, 손실 하한은 $\frac{(H+1)^2}{\delta_{\min}}SA\log T$로 스케일링되며, 여기서 $H$는 편향 스파이크이고 $\delta_{\min}$은 최소 행동 비최적성 격차이다.
• 리프시츠 MDP의 경우, 손실 하한은 $\frac{(H+1)^3}{\delta^2_{\min}}S_{\textnormal{lip}}A_{\textnormal{lip}}\log T$로 스케일링되며, $H$와 $\delta_{\min}$이 상태 및 행동 공간 크기와 함께 증가하지 않는 한 $S$와 $A$에 독립적이다.
• DEL는 각 라운드에서 탐색과 이용을 균형 잡는 최적화 문제를 해결함으로써, 임의의 구조적 MDP에서 도출된 손실 하한을 달성한다.
• 리프시츠 MDP에 대한 DEL의 단순화된 버전은 각 단계에서 추정된 MDP의 최적 정책 계산과 선형 프로그래밍만 필요로 하며, 동일한 손실 스케일링을 달성한다.
• 부록의 수치 실험 결과, 리프시츠 MDP에서 DEL의 손실은 $S$와 $A$에 따라 증가하지 않으며, 구조 인식이 없는 알고리즘보다 뚜렷이 뛰어나다.
• 이론적 분석은 이전 연구를 확장하여, 보상 함수가 알려져 있지 않은 경우에도 문제별 손실 하한을 제공한다. Burnetas와 Katehakis(1997)의 연구를 기반으로 하되, 보상이 알려져 있지 않은 경우로 일반화한다.