[논문 리뷰] Implicit Finite-Horizon Approximation and Efficient Optimal Algorithms for Stochastic Shortest Path

Liyu Chen, Mehdi Jafarnia-Jahromi외 2명|arXiv (Cornell University)|2021. 06. 15.

Advanced Bandit Algorithms Research참고 문헌 30인용 수 5

한 줄 요약

이 논문은 Stochastic Shortest Path (SSP) 문제에 대해 minimax 최적의 회귀 알고리즘을 설계하기 위해 암시적 유한시간 근사 기법을 도입한다. 두 가지 새로운 알고리즘을 제안한다: 엄격히 양수인 보상 조건 하에서 minimax 최적의 회귀를 달성하는 최초의 모델리스 SSP 알고리즘인 LCB-Advantage-SSP, 그리고 영비용 행동이 있는 경우에도 minimax 최적성을 확보하는 모델기반 알고리즘인 SVI-SSP로, 둘 다 매우 희소한 업데이트와 파rameter-free 변형을 지원한다.

ABSTRACT

We introduce a generic template for developing regret minimization algorithms in the Stochastic Shortest Path (SSP) model, which achieves minimax optimal regret as long as certain properties are ensured. The key of our analysis is a new technique called implicit finite-horizon approximation, which approximates the SSP model by a finite-horizon counterpart only in the analysis without explicit implementation. Using this template, we develop two new algorithms: the first one is model-free (the first in the literature to our knowledge) and minimax optimal under strictly positive costs; the second one is model-based and minimax optimal even with zero-cost state-action pairs, matching the best existing result from [Tarbouriech et al., 2021b]. Importantly, both algorithms admit highly sparse updates, making them computationally more efficient than all existing algorithms. Moreover, both can be made completely parameter-free.

연구 동기 및 목표

• 최소화된 최악의 경우 성능을 달성하는 효율적이고 모델리스의 회귀 최소화 알고리즘이 없는 Stochastic Shortest Path (SSP) 환경에서의 문제를 해결한다.
• 기존의 모델기반 알고리즘들이 전체 계획(whole-planning)에 의존하여 계산 비효율적이며 공간 복잡도가 높은 문제를 해결한다.
• 약간의 분석 조건 하에서도 minimax 최적의 회귀를 달성하는 일반적인 알고리즘 템플릿을 개발한다.
• 희소한 업데이트를 지원하고, 회귀 한계를 훼손하지 않으면서도 완전히 파rameter-free로 만들 수 있는 알고리즘을 설계한다.
• 영비용 상태-행동 쌍이 존재하는 SSP 환경에서 최적의 성능을 달성할 수 있도록 한다. 이는 이전 연구에서 완전히 해결되지 않은 과제이다.

제안 방법

• 이론적 분석에서만 유한시간 MDP로 SSP를 근사하는 새로운 분석 프레임워크인 암시적 유한시간 근사 기법을 제안한다. 알고리즘의 구현에는 적용하지 않는다.
• 기준가치-우수도 분해 기법과 값 함수에 대한 이중 기반의 경험적 상한을 사용하여 파rameter-free 동작이 가능한 모델리스 알고리즘인 LCB-Advantage-SSP를 설계한다.
• 전체 계획 대신 한 단계 계획(one-step planning)을 사용하여 시간 복잡도를 감소시키고, 각 상태-행동 쌍에 대해 로그 수준의 업데이트를 가능하게 하는 모델기반 알고리즘인 SVI-SSP를 개발한다.
• SVI-SSP에 베르누이 스타일의 보너스 항을 통합하여 분산을 재귀적으로 제한함으로써, $c_{\min} = 0$ 인 경우에도 minimax 최적성을 보장한다.
• 암시적 유한시간 근사 프레임워크를 활용하여 분석에서 핵심적인 구조적 성질을 만족시킴으로써, 두 알고리즘이 minimax 최적의 회귀를 달성하도록 보장한다.
• 빈번한 기준가치 업데이트를 포함한 기준가치-우수도 분해 기법을 사용하여 표본 복잡도를 감소시키고, 하위항 회귀 항을 향상시킨다.

실험 결과

연구 질문

• RQ1 엄격히 양수인 보상 조건 하에서, SSP에 대해 minimax 최적의 회귀를 달성하는 모델리스 알고리즘을 설계할 수 있는가?
• RQ2 일부 상태-행동 쌍이 영비용인 경우에도 minimax 최적성을 유지하는 모델기반 SSP 알고리즘을 개발할 수 있는가?
• RQ3 희소한 업데이트와 감소된 계획 오버헤드를 통해 모델리스 및 모델기반 SSP 알고리즘의 계산 효율성을 높일 수 있는가?
• RQ4 제안된 알고리즘을 파라미터가 전혀 없는 상태로 만들 수 있으며, 이로 인해 회귀 성능이 떨어지지 않는가?
• RQ5 암시적 유한시간 근사 기법을 통해 시간에 무관한 회귀 한계를 확보할 수 있으며, 동시에 명시적 시간 기반 방법의 공간 복잡도 폭발 문제를 피할 수 있는가?

주요 결과

• LCB-Advantage-SSP는 $\tilde{\mathcal{O}}(B_{\star}\sqrt{SAK} + B_{\star}^{5}S^{2}A/c_{\min}^{4})$의 회귀 한계를 달성하며, $c_{\min} > 0$ 일 때 minimax 최적이다.
• SVI-SSP는 $\tilde{\mathcal{O}}(B_{\star}\sqrt{SAK} + B_{\star}S^{2}A)$의 회귀 한계를 확보하며, $c_{\min} = 0$ 인 경우에도 Tarbouriech 등 (2021b)의 최고 기존 결과와 동일한 성능을 낸다.
• LCB-Advantage-SSP와 SVI-SSP 모두 공간 복잡도가 $\tilde{\mathcal{O}}(SA)$로, 기존의 $\Omega(S^2A)$ 공간 복잡도를 가지는 모델기반 알고리즘보다 크게 낮다.
• SVI-SSP는 각 상태-행동 쌍에 대해 로그 수준의 업데이트만 수행하며, 한 단계 계획을 사용하므로 실험에서 비교된 모든 알고리즘 중에서 가장 계산 효율성이 높다.
• 실증 결과에 따르면, SVI-SSP는 RandomMDP와 GridWorld 환경에서 EB-SSP 및 UC-SSP보다 회귀 성능과 업데이트 효율성에서 뛰어나며, 총 업데이트 시간도 가장 짧다.
• 에psilon-greedy 탐색을 사용하는 Q-학습은 선형 회귀를 보이며, 이는 SSP 환경에서 단순한 탐색 전략이 비효율적임을 확인한다. 반면 LCB-Advantage-SSP와 SVI-SSP는 희소하고 효율적인 업데이트를 통해 뛰어난 성능을 보였다.