[논문 리뷰] A Provably Efficient Algorithm for Linear Markov Decision Process with Low Switching Cost

Minbo Gao, Tianle Xie외 2명|arXiv (Cornell University)|2021. 01. 02.

Reinforcement Learning in Robotics참고 문헌 33인용 수 7

한 줄 요약

이 논문은 선형 마르코프 결정 과정(MDPs)에 대해 전례 없는 효율성을 보장하는 알고리즘을 제안하며, 전역 전환 비용을 낮추어 $ widetilde{O}( sqrt{d^3H^4K})$의 리그레트 한계와 $O(dH\log K)$의 전역 전환 비용을 달성한다. 이는 기존의 최고 성능 알고리즘과 비슷한 리그레트 성능를 유지하면서도 전환 비용을 크게 감소시킨다. 이 방법은 기능 근사와 적응형 정책 업데이트를 결합하여 정책 변화를 최소화하면서도 샘플 효율성을 유지한다.

ABSTRACT

Many real-world applications, such as those in medical domains, recommendation systems, etc, can be formulated as large state space reinforcement learning problems with only a small budget of the number of policy changes, i.e., low switching cost. This paper focuses on the linear Markov Decision Process (MDP) recently studied in [Yang et al 2019, Jin et al 2020] where the linear function approximation is used for generalization on the large state space. We present the first algorithm for linear MDP with a low switching cost. Our algorithm achieves an $\widetilde{O}\left(\sqrt{d^3H^4K} ight)$ regret bound with a near-optimal $O\left(d H\log K ight)$ global switching cost where $d$ is the feature dimension, $H$ is the planning horizon and $K$ is the number of episodes the agent plays. Our regret bound matches the best existing polynomial algorithm by [Jin et al 2020] and our switching cost is exponentially smaller than theirs. When specialized to tabular MDP, our switching cost bound improves those in [Bai et al 2019, Zhang et al 20020]. We complement our positive result with an $Ω\left(dH/\log d ight)$ global switching cost lower bound for any no-regret algorithm.

연구 동기 및 목표

• 의료 및 시스템 공학 분야에서의 실제 제약 조건을 고려하여, 큰 상태 공간 문제에 대해 최소한의 정책 전환을 갖는 강화 학습 알고리즘을 설계하기 위해.
• 기존 알고리즘이 상태 공간에 따라 스케일링이 잘 되지 않거나, 국소 전환 비용에만 초점을 맞추는 점을 메우기 위해.
• 낮은 리그레트와 낮은 전역 전환 비용을 동시에 확보하는 선형 MDPs에 대해 증명 가능한 효율성을 보장하는 알고리즘을 제공하기 위해.
• 선형 MDPs에서 무리그레트 알고리즘에 대한 전역 전환 비용의 이론적 하한을 설정하기 위해.

제안 방법

• 고차원 상태 공간으로의 일반화를 가능하게 하여 대규모 상태 환경에서 효율적인 학습을 가능하게 하기 위해 선형 기능 근사를 사용한다.
• 신뢰 간격 기반의 적응형 탐색 전략을 적용하여 탐색과 이용의 균형을 이루면서 정책 변화를 최소화한다.
• 추정된 가치 향상 폭이 임계값을 초과할 경우에만 정책을 업데이트하여 전역 정책 전환 횟수를 줄인다.
• 선형 MDP의 구조를 활용하여 리그레트와 전환 비용을 동시에 유계화하는 새로운 분석 프레임워크를 개발한다.
• 후보 정책 집합을 동적으로 유지하고, 신뢰도 최적화된 가치 추정 기반으로 최적의 정책을 선택한다.
• 정책 전환 횟수가 에피소드 수에 대해 로그적으로 증가함을 보장하여, $O(dH\log K)$의 전역 전환 비용을 확보한다.

실험 결과

연구 질문

• RQ1 선형 MDPs에 대해 전기적으로 효율적인 강화 학습 알고리즘을 설계할 수 있을까? 이 알고리즘은 낮은 전역 전환 비용을 유지하면서 근사 최적의 리그레트를 달성할 수 있는가?
• RQ2 선형 MDPs에서 어떤 무리그레트 알고리즘에 대해서도 전역 전환 비용의 기본 하한은 무엇인가?
• RQ3 기존의 국소 전환 비용을 사용하거나 상태 공간에 따라 스케일링이 잘 되지 않는 알고리즘과 비교해 본다면, 본 알고리즘의 전역 전환 비용은 어떻게 되는가?
• RQ4 전역 전환 비용을 $O(\log \log K)$로 더 줄일 수 있는가? 이는 밴딧 설정에서의 성능과 일치한다.
• RQ5 계산적으로 효율적인 방식으로 근사 최적의 리그레트와 낮은 전환 비용을 동시에 달성하는 것이 가능한가?

주요 결과

• 제안된 알고리즘은 $\widetilde{O}(\sqrt{d^3H^4K})$의 리그레트 한계를 달성하며, Jin 등(2019)이 제안한 기존 최고의 다항식 시간 알고리즘과 동일한 성능을 보인다.
• 전역 전환 비용은 $O(dH\log K)$이며, 이는 이전 알고리즘보다 지수적으로 작고, 표본 MDP 결과보다도 크게 향상된 성능이다.
• 알고리즘의 전환 비용 유계는 표본 MDPs에 대해 $O(SAH\log K)$의 전역 전환 비용을 암시하며, 이는 이전 연구를 뛰어넘는 성능 향상이다.
• 선형 MDPs에서 전역 전환 비용에 대해 $\Omega(dH/\log d)$의 하한이 확립되었으며, 이는 알고리즘의 전환 비용이 로그 인자에 대해 거의 최적임을 보여준다.
• 이 하한은 RL 분야에서 처음으로 비트리비얼한 전역 전환 비용 하한을 제시하며, 이는 이전의 국소 전환 비용 하한보다 엄밀히 더 강력하다.
• 상한과 하한 사이의 격차는 현재 $\log K \log d$이므로, 전환 비용 유계의 향상 여지가 아직 남아 있다.