[논문 리뷰] Contextual Markov Decision Processes using Generalized Linear Models

Aditya Modi, Ambuj Tewari|arXiv (Cornell University)|2019. 04. 28.

Advanced Bandit Algorithms Research참고 문헌 11인용 수 8

한 줄 요약

이 논문은 일반화선형모형(GLMs)을 통해 모델링된 매개변수를 가진 문맥적 마르코프 결정과정(CMDPs)을 위한 no-regret 온라인 강화학습 알고리즘인 GL-ORL을 제안한다. 이 알고리즘은 효율적인 온라인 뉴턴 스텝 업데이트를 사용하여 신뢰집합을 구축하고, 특히 로짓 링크 경우에서 향상된 리그레트 한계를 확립하며, 문맥에 따라 달라지는 환경에서 에피소드 간 상호작용 동안 메모리 효율적인 학습을 가능하게 한다.

ABSTRACT

We consider the recently proposed reinforcement learning (RL) framework of Contextual Markov Decision Processes (CMDP), where the agent has a sequence of episodic interactions with tabular environments chosen from a possibly infinite set. The parameters of these environments depend on a context vector that is available to the agent at the start of each episode. In this paper, we propose a no-regret online RL algorithm in the setting where the MDP parameters are obtained from the context using generalized linear models (GLMs). The proposed algorithm exttt{GL-ORL} relies on efficient online updates and is also memory efficient. Our analysis of the algorithm gives new results in the logit link case and improves previous bounds in the linear case. Our algorithm uses efficient Online Newton Step updates to build confidence sets. Moreover, for any strongly convex link function, we also show a generic conversion from any online no-regret algorithm to confidence sets.

연구 동기 및 목표

• 환경 매개변수가 문맥 벡터에 따라 달라지는 Contextual MDPs에 대해 no-regret 온라인 RL 알고리즘을 개발하는 것.
• 스케일이 크고 구조화된 문맥에 따라 달라지는 환경의 표현을 가능하게 하기 위해 MDP 매개변수를 일반화선형모형(GLMs)으로 모델링하는 것.
• 가능한 무한한 MDP를 가진 에피소드 학습 환경에서 메모리 효율성과 빠른 온라인 업데이트를 보장하는 것.
• 로짓 링크 함수에 대해 더 낫게 조정된 리그레트 한계를 도출하는 것과 선형 경우에서 이전 결과를 향상시키는 것.
• 어떤 온라인 no-regret 알고리즘이라도 GLM 기반 CMDPs를 위한 신뢰집합 구축 메커니즘으로 변환할 수 있는 일반적인 방법을 제공하는 것.

제안 방법

• 알고리즘인 GL-ORL은 온라인 방식으로 모델 매개변수에 대한 신뢰집합을 유지하고 업데이트하기 위해 온라인 뉴턴 스텝 업데이트를 사용한다.
• 이 방법은 문맥 벡터로 파arameter화된 일반화선형모형(GLMs)을 사용하여 MDP의 전이 및 보상 함수를 모델링한다.
• 이 방법은 로그우도의 헤시안을 사용하여 신뢰집합을 구축하며, 링크 함수의 곡률을 활용하여 더 낫게 조정된 불확실성 추정을 가능하게 한다.
• 어떤 강력한 볼록 링크 함수에 대해서든, 이 프레임워크는 어떤 온라인 no-regret 알고리즘도 신뢰집합 구축 메커니즘으로 변환할 수 있도록 한다.
• 알고리즘은 신뢰집합 기반 상한 신뢰도 경계를 통해 탐색과 이용의 균형을 유지함으로써 no-regret 학습을 보장한다.
• 전체 기록을 저장하지 않고 충분통계의 재귀적 업데이트에 의존함으로써, 전체 기록을 저장하지 않고도 낮은 메모리 사용량을 유지한다.

실험 결과

연구 질문

• RQ1 GLM로 파arameter화된 환경을 가진 CMDPs에 대해 no-regret 온라인 RL 알고리즘을 설계할 수 있는가?
• RQ2 이러한 환경에서 효율적이고 메모리 효율적인 온라인 업데이트를 어떻게 달성할 수 있는가?
• RQ3 이전 작업에 비해 로짓 링크 함수에 대해 어떤 리그레트 한계 향상이 달성될 수 있는가?
• RQ4 GLM 기반 CMDPs에 대해 온라인 no-regret 알고리즘에서 신뢰집합 구축으로의 일반적인 변환을 확립할 수 있는가?
• RQ5 온라인 뉴턴 스텝 업데이트의 사용이 신뢰집합 품질과 리그레트 성능에 어떻게 기여하는가?

주요 결과

• GL-ORL 알고리즘은 GLM로 파arameter화된 MDPs를 가진 CMDPs 환경에서 no-regret 보장을 달성하며, 시간이 지남에 따라 하위선형 리그레트를 보장한다.
• 로짓 링크 함수의 경우, 기존 문헌에서 알려진 결과보다 더 나은 리그레트 한계를 도출하였다.
• 선형 경우에서 GL-ORL가 달성한 리그레트 한계는 이전의 결과를 향상시켜 더 낫게 조정된 성능 보장을 보여준다.
• 온라인 뉴턴 스텝 업데이트의 사용은 효율적이고 정확한 신뢰집합 구축을 가능하게 하며, 이는 탐색과 이용의 균형에 핵심적이다.
• 강력한 볼록 링크 함수를 가진 GLM 기반 CMDPs에 대해, 어떤 온라인 no-regret 알고리즘도 신뢰집합 구축 방법으로 변환할 수 있는 일반적인 메커니즘이 증명되었다.
• 알고리즘은 전체 데이터 기록을 저장하지 않고 충분통계의 재귀적 업데이트에 의존함으로써 메모리 효율성을 유지한다.