[논문 리뷰] No-regret Exploration in Contextual Reinforcement Learning

Aditya Modi, Ambuj Tewari|arXiv (Cornell University)|2019. 03. 14.

Advanced Bandit Algorithms Research참고 문헌 26인용 수 8

한 줄 요약

이 논문은 맥락 벡터를 MDP 파라미터로 매핑하는 일반화선형모형(GLM)을 사용하여 맥락적 마르코프 결정과정(CMDP)에 대한 no-regret 강화학습 알고리즘을 제안한다. confidence set 구축을 위해 온라인 뉴턴 스텝을 활용한 효율적인 온라인 업데이트 방법을 도입하여, 이전 선형 MDP 결과보다 O(√S) 향상된 regret bound를 달성하며, 스파arsity와 같은 구조적 GLM 파라미터를 활용할 수 있는 일반화된 프레임워크를 제공한다.

ABSTRACT

We consider the recently proposed reinforcement learning (RL) framework of Contextual Markov Decision Processes (CMDP), where the agent interacts with a (potentially adversarial) sequence of episodic tabular MDPs. In addition, a context vector determining the MDP parameters is available to the agent at the start of each episode, thereby allowing it to learn a context-dependent near-optimal policy. In this paper, we propose a no-regret online RL algorithm in the setting where the MDP parameters are obtained from the context using generalized linear mappings (GLMs). We propose and analyze optimistic and randomized exploration methods which make (time and space) efficient online updates. The GLM based model subsumes previous work in this area and also improves previous known bounds in the special case where the contextual mapping is linear. In addition, we demonstrate a generic template to derive confidence sets using an online learning oracle and give a lower bound for the setting.

연구 동기 및 목표

• 제한적인 선형성 가정에 의존하거나 정규화되지 않은 동역학을 사용하는 기존 CMDP 프레임워크의 한계를 해결한다.
• 증명 가능성이 있는 regret 보장을 갖는 GLM 기반 CMDP에 대한 효율적인 온라인 학습 알고리즘을 개발한다.
• 선형 매핑 케이스에서 이전 regret bound를 O(√S) 정도로 향상시킨다.
• 온라인 학습 오라클을 사용하여 구조적 GLM 파라미터(예: 스파arsity)에 적응할 수 있도록 일반화된 방법으로 confidence set을 유도하는 방법을 제공한다.
• 로지스틱 또는 제곱링크 함수를 갖는 GLM-CMDP에 대한 regret 하한을 수립한다.

제안 방법

• 맥락 벡터에서 MDP 파라미터를 일반화선형 매핑으로 모델링하는 GLM-CMDP 프레임워크를 제안한다.
• confidence set 구축을 위한 효율적인 방법으로 온라인 뉴턴 스텝(ONS)을 활용한 낙관적 탐색 알고리즘(GLM-ORL)을 설계한다.
• RLSVI에 영감을 얻은 랜덤화된 탐색 알고리즘(GLM-RLSVI)을 개발하며, 경험 베르누이 스타일 보너스 기반의 regret 분석을 수행한다.
• 어떤 no-regret 알고리즘도 GLM 파라미터 추정을 위한 온라인 학습 오라클로 변환하여 confidence set 구축 방법을 제공한다.
• 다음 상태 전이 모델에 대한 호프딩 스타일 보너스를 사용하여 가치 함수에 대한 confidence set을 도출한다.
• GLM 링크 함수의 강한 볼록성을 활용하여 추정 오차를 제한하고, 1/α에 의존하는 regret bound를 유도한다.

실험 결과

연구 질문

• RQ1 일반화선형 매개변수화된 MDP를 갖는 CMDP에 대해 계산적으로 효율적이고 통계적으로 타당한 no-regret 온라인 RL 알고리즘을 설계할 수 있는가?
• RQ2 GLM-CMDP 알고리즘의 regret bound는 기존 작업과 비교해 맥락 차원 d, 상태공간 크기 S, 그리고 수렴 시간 H에 따라 어떻게 척도가 조정되는가?
• RQ3 기존 OFU 기반 접근법에 비해 선형 케이스에서 O(√S) 정도로 regret bound를 향상시킬 수 있는가?
• RQ4 특히 스파arsity와 같은 구조를 갖는 파라미터에 대해, 온라인 학습 오라클을 사용하여 GLM 기반 MDP의 confidence set을 일반화된 방법으로 도출할 수 있는가?
• RQ5 로지스틱 또는 제곱링크 함수를 갖는 GLM-CMDP에 대한 기본적인 한계(하한)는 무엇인가?

주요 결과

• 제안된 GLM-ORL 알고리즘은 GLM-CMDP에 대해 Õ(H√(dS K))의 regret bound를 달성하며, 선형 케이스에서 이전 OFU 기반 방법보다 O(√S) 향상된다.
• GLM-RLSVI 알고리즘은 GLM-ORL의 빈도주의 regret과 유사한 베이지안 regret bound를 제공하며, H, d, S, K에 대해 유사한 의존성 구조를 갖는다.
• 온라인 뉴턴 스텝을 통한 confidence set 구축은 시간 및 공간 복잡도를 효율적으로 유지하며, 표준 OFU 접근법의 라운드 수에 비례하는 스케일링을 피한다.
• 어떤 온라인 no-regret 알고리즘도 GLM 파라미터 추정을 위한 confidence set으로 변환할 수 있는 일반화된 변환 방법을 제공하며, 파라미터가 스파스한 경우 더 낫게 조정된 bound를 달성할 수 있다.
• 로지스틱 또는 제곱링크 함수를 갖는 GLM-CMDP에 대해 Ω(H√(dK))의 regret 하한을 수립하여, 현재 상한이 거의 날것같은 수준임을 시사한다.
• 논문은 나머지 regret 갭(O(H√(dS)))를 줄이는 것이 비현실적이며, 맥락 변수에 대한 가치 함수의 구조적 결여와 단계 간 독립적 샘플링의 곤경으로 인해 어렵다는 점을 밝혀낸다.