[논문 리뷰] Efficient Bias-Span-Constrained Exploration-Exploitation in Reinforcement Learning

Ronan Fruit, Matteo Pirotta외 2명|arXiv (Cornell University)|2018. 02. 12.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 약간의 통신이 있는 MDP에서 최적 가치 함수의 편향 범위를 활용하여 계산적으로 효율적인 강화학습 알고리즘인 SCAL을 소개한다. 이 알고리즘은 알려진 최적 편향 범위의 상한 $ c $ 를 이용해 탐색을 제약함으로써, $ \widetilde{O}(c\sqrt{\Gamma SAT}) $ 의 성능 오차 경계를 달성한다. 이는 직경에 따라 성능 오차가 증가하는 UCRL과 같은 알고리즘보다도 크게 뛰어나며, 직경은 크지만 편향 범위는 작은 MDP 환경에서 뛰어난 성능을 발휘한다.

ABSTRACT

We introduce SCAL, an algorithm designed to perform efficient exploration-exploitation in any unknown weakly-communicating Markov decision process (MDP) for which an upper bound $c$ on the span of the optimal bias function is known. For an MDP with $S$ states, $A$ actions and $Γ\leq S$ possible next states, we prove a regret bound of $\widetilde{O}(c\sqrt{ΓSAT})$, which significantly improves over existing algorithms (e.g., UCRL and PSRL), whose regret scales linearly with the MDP diameter $D$. In fact, the optimal bias span is finite and often much smaller than $D$ (e.g., $D=\infty$ in non-communicating MDPs). A similar result was originally derived by Bartlett and Tewari (2009) for REGAL.C, for which no tractable algorithm is available. In this paper, we relax the optimization problem at the core of REGAL.C, we carefully analyze its properties, and we provide the first computationally efficient algorithm to solve it. Finally, we report numerical simulations supporting our theoretical findings and showing how SCAL significantly outperforms UCRL in MDPs with large diameter and small span.

연구 동기 및 목표

• MDP 직경 $ D $ 에 따라 성능 오차가 증가하는 기존 강화학습 알고리즘의 한계를 해결하기 위해, 실제 성능 오차가 최적 가치 함수의 편향 범위에 의해 결정됨에도 불구하고, 이는 여전히 $ D $ 에 따라 증가할 수 있음을 지적한다.
• 이론적으로 최적이지만 실용적으로 불가능한 알고리즘인 Regal.C의 제약 최적화 문제를 완화시켜 실용적인 형태로 변형함으로써 계산 불가능성 문제를 해결한다.
• 편향 범위 제약 최적화 문제를 해결하기 위한 새로운 효율적 알고리즘(ScOpt)을 개발하여, 편향 범위 인식 탐색의 실용적 구현을 가능하게 한다.
• ScOpt 를 UCRL 유사 프레임워크에 통합하여, 직경 $ D $ 가 아닌 편향 범위 $ c $ 에 따라 성능 오차가 증가하는 완전히 계산 가능한 알고리즘인 SCAL을 개발한다.
• Knight Quest 환경과 같이 직경은 크지만 편향 범위는 작은 MDP에서 UCRL에 비해 SCAL이 뛰어난 성능을 보임을 경험적으로 입증한다.

제안 방법

• Regal.C의 계산이 불가능한 정규화 방식을 대체하기 위해, 최적 편향 함수 $ h^* $ 의 범위 상한 $ c $ 를 사용하는 제약 최적화 문제를 제안한다.
• 편향 범위 제약 최적화 문제를 해결하기 위한 계산적으로 효율적인 알고리즘인 ScOpt 를 설계하였으며, 약한 조건 하에서도 수렴 보장을 갖는다.
• ScOpt 의 정지 기준을 도입하여 $ \varepsilon $-최적 정책을 확보함으로써 실용적 적용 가능성을 보장한다.
• ScOpt 를 UCRL 스타일의 탐색-이용 프레임워크에 통합하여, 편향 범위 제약을 반영한 가치 함수의 낙관주의 원칙을 활용해 탐색을 이끌어낸다.
• 보상 및 전이 모델에 대해 베르누이 타입의 신뢰 구간을 사용하여 낙관적인 MDP를 구성하며, 안정성을 확보하기 위해 $ r_{\max} $ 에서 잘라내기 기법을 적용한다.
• 비통신 또는 약간의 통신이 있는 MDP에서도 항상 수렴 조건을 만족시키기 위해 수정된 낙관주의 논리를 적용한다.

실험 결과

연구 질문

• RQ1 약간의 통신이 있는 MDP에서 직경 $ D $ 가 아닌 편향 범위 $ c $ 에 따라 성능 오차가 증가하는 계산적으로 효율적인 알고리즘을 설계할 수 있는가?
• RQ2 Regal.C의 최적화 문제를 완화시켜 실용적으로 구현 가능하게 하면서도 이론적 성능 오차 경계를 유지할 수 있는가?
• RQ3 큰 직경이지만 작은 편향 범위를 가진 MDP에서 편향 범위 제약이 탐색 효율성을 어떻게 향상시키는가?
• RQ4 직경은 크지만 최적 정책은 단순한 환경에서 제안된 알고리즘이 UCRL과 같은 표준 OFU 기반 방법보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 편향 범위를 환경의 복잡성의 대체 지표로 사용할 경우, 탐색에 대한 실용적 함의는 무엇인가?

주요 결과

• SCAL 는 $ \widetilde{O}(c\sqrt{\Gamma SAT}) $ 의 성능 오차 경계를 달성하며, 이는 MDP 직경 $ D $ 와 무관하다. 이는 $ D $ 에 따라 증가하는 알고리즘들인 UCRL 및 PSRL 과 비교해 크게 향상된 성능을 보인다.
• Knight Quest 환경에서 SCAL 은 UCRL 에 비해 큰 격차를 보이며, 누적 성능 오차가 비선형적으로 증가하며 선형 및 로그 영역을 명확히 보여준다.
• Knight Quest 의 최적 정책은 약 $ 3.28 $ 의 편향 범위를 가지며, 직경은 약 $ 250 $ 으로, $ D $ 와 $ c $ 사이에 큰 격차가 있음을 보여주며, 이 격차를 SCAL 이 효과적으로 활용한다.
• SCAL 의 성능 오차 곡선은 최소한의 제곱근 영역을 보이며, 이는 알고리즘이 먼 거리에 있는 고편향 상태들이 최적 정책에 영향을 주지 않는다는 것을 식별한 후 빠르게 수렴한다는 것을 시사한다.
• 수치 시뮬레이션은 SCAL 이 작은 편향 범위를 활용해 UCRL 이나 마찬가지로 고편향 상태를 탐색하는 데에 오해를 받는 것을 방지함을 확인한다.
• ScOpt 를 통한 $ \varepsilon $-최적 정책 계산 방식은 복잡한 약간의 통신이 있는 환경에서도 알고리즘이 효율적이고 안정적으로 유지됨을 보장한다.