[논문 리뷰] Fast rates for online learning in Linearly Solvable Markov Decision Processes

Gergely Neu, Vicenç Gómez|arXiv (Cornell University)|2017. 02. 21.

Advanced Bandit Algorithms Research참고 문헌 36인용 수 4

한 줄 요약

이 논문은 선형으로 가역 가능한 마르코프 결정 과정(LMDP)에 대한 새로운 온라인 학습 알고리즘을 제안하며, 단순한 '리더를 따라하는' 전략이 $ O("log^2 T$)의 리그레트 한계를 달성함을 입증한다. 이는 이전의 $ O(T^{3/4}) $ 한계에 비해 크게 향상된 결과이다. 핵심 통찰은 비용 함수에 대한 최적 제어 정책의 부드러움이 정규화 없이도 빠른 수렴을 가능하게 한다는 점이다.

ABSTRACT

We study the problem of online learning in a class of Markov decision processes known as linearly solvable MDPs. In the stationary version of this problem, a learner interacts with its environment by directly controlling the state transitions, attempting to balance a fixed state-dependent cost and a certain smooth cost penalizing extreme control inputs. In the current paper, we consider an online setting where the state costs may change arbitrarily between consecutive rounds, and the learner only observes the costs at the end of each respective round. We are interested in constructing algorithms for the learner that guarantee small regret against the best stationary control policy chosen in full knowledge of the cost sequence. Our main result is showing that the smoothness of the control cost enables the simple algorithm of following the leader to achieve a regret of order $\log^2 T$ after $T$ rounds, vastly improving on the best known regret bound of order $T^{3/4}$ for this setting.

연구 동기 및 목표

• 변화하는 비용 함수가 존재하는 MDP에서의 온라인 학습 문제를 다루며, 학습자가 각 라운드 이후에만 비용을 관측할 수 있는 상황을 고려한다.
• 모든 비용 시퀀스를 사전에 알고 있는 최적의 정적 정책에 대해 낮은 리그레트를 달성하는 알고리즘을 설계한다.
• 선형으로 가역 가능한 MDP의 구조적 특성을 활용하여 이전에 알려진 것보다 더 빠른 학습 속도를 달성한다.
• 비용 변화에 대한 최적 정책의 부드러움이 정규화 없이도 로그 리그레트를 가능하게 한다는 점을 입증한다.

제안 방법

• 알고리즘은 '리더를 따라하는' 전략을 사용하며, 현재 라운드까지의 누적 비용을 최소화하는 정책을 선택한다.
• 분석은 LMDP의 선형 구조를 활용하여 비용 함수의 변화에 대한 최적 정책의 리프시츠 연속성에 기반한다.
• 리그레트 한계는 정책 이탈, 비용 추정 오차, 혼합 시간 영향의 세 가지 성분으로 분해하여 유도한다.
• 핵심 기술적 단계로는 혼합 시간 $ \tau $ 를 이용하여 지수 감쇠와 기하급수열을 활용해 정책 간의 $ \ell_1 $-거리의 상한을 구한다.
• 시간 단계에 대한 합의 분해와 임계값 $ B = \lfloor t - \tau \log t \rfloor $ 에서의 분할을 통해 尾행동을 제어한다.
• 최종 리그레트 한계는 시간에 대해 합산하고 조화급수의 로그 상한 및 기하급수 감쇠를 활용하여 유도된다.

실험 결과

연구 질문

• RQ1 임의의 비용 시퀀스 하에서 LMDP의 온라인 학습에서 리그레트를 $ O(T^{3/4}) $ 한계를 초월해 향상시킬 수 있는가?
• RQ2 LMDP에서 최적 정책의 부드러움이 온라인 학습 환경에서 더 빠른 수렴을 가능하게 하는가?
• RQ3 '리더를 따라하는' 알고리즘이 정규화 없이 LMDP에서 로그 리그레트를 달성할 수 있는가?
• RQ4 LMDP의 손실 함수는 에프콘벡스인가? 만약 그렇지 않다면, 여전히 이 구조적 특성이 빠른 수렴 속도를 가능하게 하는가?

주요 결과

• '리더를 따라하는' 알고리즘이 $ O(\log^2 T) $ 의 리그레트 한계를 달성하며, 이는 이전의 $ O(T^{3/4}) $ 한계에 비해 상당한 향상이다.
• 리그레트 한계는 혼합 시간 $ \tau $ 에 대해 다항식적으로 의존하고, 최소 전이 확률 $ p^* $ 에 대해 로그적으로 의존하며, $ B = -\log p^* $ 로 표현된다.
• 분석 결과, 최적 정책이 비용 함수에 대해 부드럽게 의존함으로써 정규화 없이도 빠른 학습이 가능하다는 점이 입증된다.
• 손실 함수의 에프콘벡스성에 대한 가정 없이도 유도된 한계는 이 설정에서 빠른 수렴 속도를 가능하게 하는 다른 메커니즘이 존재할 수 있음을 시사한다.
• 리그레트 한계의 주요 상수들이 명시적으로 제시되어 있어 이전 연구 대비 정량적 명확성이 향상되었다.
• 저자들은 더 정교한 알고리즘을 통해 한계를 $ O(\log T) $ 로 추가로 향상시킬 수 있을 것으로 추측하고 있으나, 현재 방법조차도 매우 효율적임을 확인했다.