[논문 리뷰] Problem Dependent Reinforcement Learning Bounds Which Can Identify Bandit Structure in MDPs

Andrea Zanette, Emma Brunskill|arXiv (Cornell University)|2019. 11. 03.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 UCRL2 강화학습 알고리즘의 경미한 변형을 제안하며, 에이전트가 밴딧 구조를 인지하지 못하더라도 표본 수가 적은 표본 기반 맵핑 문제에서 near-optimal인 $ ilde{O}( ext{SAT})$의 오차 한계를 자동으로 달성한다. 이 방법은 문제에 따라 분석하여 더 단순한 프레임워크의 최고 성능을 사용자 간섭 없이나 알고리즘 수정 없이 이식한다.

ABSTRACT

In order to make good decision under uncertainty an agent must learn from observations. To do so, two of the most common frameworks are Contextual Bandits and Markov Decision Processes (MDPs). In this paper, we study whether there exist algorithms for the more general framework (MDP) which automatically provide the best performance bounds for the specific problem at hand without user intervention and without modifying the algorithm. In particular, it is found that a very minor variant of a recently proposed reinforcement learning algorithm for MDPs already matches the best possible regret bound $ ilde O (\sqrt{SAT})$ in the dominant term if deployed on a tabular Contextual Bandit problem despite the agent being agnostic to such setting.

연구 동기 및 목표

• 진정한 문제 구조가 가정된 것보다 단순할 경우, 더 단순한 의사결정 프레임워크(예: 표본 기반 맵핑)의 최고 성능 한계를 자동으로 습득하는 강화학습 알고리즘을 개발하는 것.
• RL에서의 프레임워크 불일치 문제를 해결하는 것 — 즉, MDP, 밴딧, POMDP 중 어느 것을 선택할지 모호하며 이로 인해 학습 효율이 영향을 받는다.
• 기본 문제의 구조(예: 밴딧 대비 MDP)에 따라 조정되는 문제에 의존하는 오차 한계를 제공하여 사용자가 사전에 프레임워크를 지정할 필요 없이 성능을 조정하는 것.
• 특히 $ ext{SAT}$ 항에서 우세한 $ ilde{O}( ext{SAT})$ 항을 중심으로 MDP와 표본 기반 맵핑의 이론적 한계 간 격차를 메우는 것.

제안 방법

• 진정한 문제 구조가 표본 기반 맵핑인 경우에 더 나은 오차 분석을 위해 UCRL2 알고리즘에 경미한 수정을 도입한다.
• 충돌 시간과 방문 횟수에 조건을 두어 더 날카로운 상한을 도출하는 문제에 의존하는 분석을 사용한다.
• 기하 확률 변수 근사와 마르코프 및 헤프딩 부등식을 적용하여 과도한 상태 방문 확률을 제한한다.
• 최대 평균 충돌 시간 $T_{\text{hit}}$와 상태-행동 쌍의 방문 횟수를 활용하여 오차 성장률을 통제한다.
• 상태-행동 쌍의 기대 방문 횟수가 $T_{\text{hit}} \cdot \max\{1, N_k(s_{k_2}, \pi(s_{k_2}))\}$ 이하로 제한됨을 증명하며, 이는 더 날카로운 오차 통제를 가능하게 한다.
• 표본 기반 맵핑 환경에 배포되었을 때 알고리즘의 성능이 $ ilde{O}( ext{SAT})$로 스케일링됨을 보여주며, 이는 밴딧 전용 알고리즘의 최고 알려진 상한과 일치한다.

실험 결과

연구 질문

• RQ1 진정한 환경이 표본 기반 맵핑일 경우, MDP 기반 RL 알고리즘이 자동으로 $ ilde{O}( ext{SAT})$의 최고 오차 한계를 달성할 수 있는가?
• RQ2 UCRL2의 문제에 의존하는 분석이, 명시적 수정이나 사용자 지식 없이도 더 단순한 구조(예: 밴딧)에 적응할 수 있는가?
• RQ3 환경이 실제로 밴딧일 경우, MDP 알고리즘의 오차 한계가 수평선 $H$에 독립적이게 만들 수 있는가? 이는 밴딧 전용 상한과 일치시킨다.
• RQ4 최대 평균 충돌 시간 $T_{\text{hit}}$는 MDP 알고리즘에서 밴딧 유사 환경에서 오차를 통제하는 데 어떤 역할을 하는가?
• RQ5 상태 방문 패턴과 정책 안정성과 같은 구조적 특성을 활용하여 MDP 알고리즘의 더 날카로운 오차 상한을 어떻게 유도할 수 있는가?

주요 결과

• UCRL2의 경미한 변형이 표본 기반 맵핑 문제에서 $ ilde{O}( ext{SAT})$의 오차 한계를 달성하며, 이는 밴딧 전용 알고리즘의 최고 알려진 상한과 일치한다.
• 사용자가 사전에 밴딧 구조를 식별하거나 지정할 필요 없이, 알고리즘이 표본 기반 맵핑의 성능을 자동으로 습득한다.
• 오차 한계는 충돌 시간과 방문 횟수에 조건을 두어 문제에 의존하는 분석을 통해 도출되며, 이는 상태 방문의 더 날카로운 통제를 가능하게 한다.
• 상태-행동 쌍의 기대 방문 횟수가 $T_{\text{hit}} \cdot \max\{1, N_k(s_{k_2}, \pi(s_{k_2}))\}$ 이하로 제한되며, 이는 최종 상한 유도에 핵심적이다.
• 기하 확률 변수 근사와 헤프딩의 부등식을 사용하여 방문 횟수의 尾확률을 제한함으로써, 고확률 오차 통제를 가능하게 한다.
• 분석 결과, 환경가 더 단순할 경우 알고리즘의 성능이 유연하게 저하되며, 밴딧 설정에서 우세한 항에서 최적의 스케일링을 달성함을 보여준다.