[논문 리뷰] Variance-Aware Confidence Set: Variance-Dependent Bound for Linear Bandits and Horizon-Free Bound for Linear Mixture MDP

Zihan Zhang, Jiaqi Yang외 2명|arXiv (Cornell University)|2021. 01. 29.

Advanced Bandit Algorithms Research참고 문헌 39인용 수 9

한 줄 요약

이 논문은 선형 밴디트와 선형 혼합 MDP에 대해 변동성 인식(confidence) 집합을 도입하며, 새로운 편두 기법, 재귀적 변동성 추정, 그리고 볼록 잠재함수 보조정리(convex potential lemma)를 활용한다. 선형 밴디트에 대해 변동성에 따라 달라지는 최초의 복잡도 상한을 도출하여 $\widetilde{O}(\mathrm{poly}(d)\sqrt{1 + \sum \sigma_i^2})$의 스케일링을 달성하고, 선형 혼합 MDP에 대해 최초로 시간 간격에 의존하지 않는 복잡도 상한을 도출하여 $\widetilde{O}(\mathrm{poly}(d, \log H)\sqrt{K})$의 스케일링을 달성함으로써 $H$에 대한 다항적 의존성을 제거한다.

ABSTRACT

We show how to construct variance-aware confidence sets for linear bandits and linear mixture Markov Decision Process (MDP). Our method yields the following new regret bounds: * For linear bandits, we obtain an $\widetilde{O}(\mathrm{poly}(d)\sqrt{1 + \sum_{i=1}^{K}\sigma_i^2})$ regret bound, where $d$ is the feature dimension, $K$ is the number of rounds, and $\sigma_i^2$ is the (unknown) variance of the reward at the $i$-th round. This is the first regret bound that only scales with the variance and the dimension, with no explicit polynomial dependency on $K$. * For linear mixture MDP, we obtain an $\widetilde{O}(\mathrm{poly}(d, \log H)\sqrt{K})$ regret bound, where $d$ is the number of base models, $K$ is the number of episodes, and $H$ is the planning horizon. This is the first regret bound that only scales logarithmically with $H$ in the reinforcement learning with linear function approximation setting, thus exponentially improving existing results. Our methods utilize three novel ideas that may be of independent interest: 1) applications of the peeling techniques to the norm of input and the magnitude of variance, 2) a recursion-based approach to estimate the variance, and 3) a convex potential lemma that somewhat generalizes the seminal elliptical potential lemma.

연구 동기 및 목표

• 선형 밴디트에서 보상의 변동성에 적응하는 신뢰집합을 개발하여, 라운드 수에 대한 의존성 외에 개선된 복잡도 상한을 달성하고자 한다.
• 선형 혼합 MDP의 복잡도 상한에서 계획 시간 간격 $H$에 대한 명시적 다항적 의존성을 제거하고, 대신 로그 스케일링을 달성하고자 한다.
• 함수 근사와 함께 사용할 수 있는 새로운 분석 도구—노름과 변동성에 대한 편두, 재귀적 변동성 추정, 일반화된 볼록 잠재함수 보조정리—를 도입하고자 한다.
• 라운드 수 $K$에 대해 명시적인 의존성이 없고, 특징 차원 $d$와 총 변동성 $\sum \sigma_i^2$에만 의존하는 선형 밴디트에 대해 최초의 복잡도 상한을 제공하고자 한다.
• 선형 함수 근사 강화학습에서 새로운 기준을 설정하기 위해 선형 혼합 MDP 설정에서 시간 간격에 의존하지 않는 복잡도 상한을 달성하고자 한다.

제안 방법

• 특징 벡터의 노름과 보상 변동성의 크기에 모두 편두 기법을 적용하여 더 날카운 농도 상한을 가능하게 한다.
• 온라인 방식으로 보상의 변동성을 추정하기 위한 재귀 기반 방법을 제안하며, 이는 변동성 인식 신뢰집합에 핵심적이다.
• 고전적 타원형 잠재함수 보조정리를 일반화한 볼록 잠재함수 보조정리를 도입하여, 변동성에 따라 달라지는 분석을 지원한다.
• 관측된 보상의 변동성에 적응하는 신뢰집합을 구성하여 고변동성 영역에서의 과도한 경계 설정을 줄인다.
• 변동성 인식 신뢰집합을 탐색-이용 전략과 조합하여 향상된 복잡도 상한을 도출한다.
• 복잡도 상한에서 변동성과 차원의 기여를 분리하는 새로운 분해 기법을 활용하여 더 엄밀한 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 선형 밴디트에서 보상의 실제 변동성에 적응하는 신뢰집합을 구성할 수 있는가? 즉, 유한하거나 알려진 변동성에 대한 가정 없이도 가능한가?
• RQ2 선형 혼합 MDP에서 복잡도 상한이 계획 시간 간격 $H$에 대해 로그 스케일링으로 이루어질 수 있는가? 다항 스케일링 대신에 말이다.
• RQ3 타원형 잠재함수 보조정리는 기능 근사 설정에서 변동성에 따라 달라지는 분석을 지원하도록 일반화될 수 있는가?
• RQ4 재귀적 변동성 추정 기법은 온라인 학습 알고리즘에 어떻게 통합되어 복잡도 보장 향상에 기여할 수 있는가?
• RQ5 선형 함수 근사 설정에서 $K$와 $H$에 대한 복잡도 의존성을 분리하기 위해 어떤 새로운 분석 기법이 필요한가?

주요 결과

• 선형 밴디트에 대해 논문은 $\widetilde{O}(\mathrm{poly}(d)\sqrt{1 + \sum_{i=1}^{K}\sigma_i^2})$의 복잡도 상한을 도출하였으며, 이는 특징 차원 $d$와 누적 변동성 $\sum \sigma_i^2$에만 의존하고, $K$에 대한 명시적 의존성이 없다.
• 이것은 $K$에 대한 다항적 의존성이 명시적으로 제거되고, 총 변동성의 제곱근에 비례하는 최초의 선형 밴디트 복잡도 상한이다.
• 선형 혼합 MDP에 대해 논문은 $\widetilde{O}(\mathrm{poly}(d, \log H)\sqrt{K})$의 복잡도 상한을 도출하였으며, 이는 계획 시간 간격 $H$에 대해 로그 스케일링으로 이루어진다.
• 시간 간격에 의존하지 않는 상한은 이전에 다항적 스케일링으로 이루어진 결과에 비해 지수적 향상을 나타낸다.
• 제안된 볼록 잠재함수 보조정리는 고전적 타원형 잠재함수 보조정리를 일반화하며, 고차원 설정에서 변동성 인식 분석을 지원한다.
• 재귀적 변동성 추정 기법은 사전 지식 없이도 정확한 온라인 변동성 추적을 가능하게 하며, 이는 적응형 신뢰집합에 매우 중요하다.