[논문 리뷰] Learning with Good Feature Representations in Bandits and in RL with a Generative Model

Tor Lattimore, Csaba Szepesvári외 1명|arXiv (Cornell University)|2019. 11. 18.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 21

한 줄 요약

이 논문은 밴디트와 강화학습(RL)에서 좋은 선형 특징 표현을 가질 경우, 모델의 잘못된 특정화가 있더라도 근사 최적의 행동을 효율적으로 식별할 수 있음을 입증한다. 키페어–월로비츠 정리와 최소 제곱 추정을 활용하여, 하위최적성 갭(suboptimality gap)이 $ O(\varepsilon\sqrt{d}) $임을 보장하며, 여기서 $ \varepsilon $는 균일한 근사 오차이고 $ d $는 특징 차원이다. 이로 인해 오직 $ O(d\log\log d) $개의 행동 쿼리만으로도 효율적인 학습이 가능해진다.

ABSTRACT

The construction by Du et al. (2019) implies that even if a learner is given linear features in $\mathbb R^d$ that approximate the rewards in a bandit with a uniform error of $ε$, then searching for an action that is optimal up to $O(ε)$ requires examining essentially all actions. We use the Kiefer-Wolfowitz theorem to prove a positive result that by checking only a few actions, a learner can always find an action that is suboptimal with an error of at most $O(ε\sqrt{d})$. Thus, features are useful when the approximation error is small relative to the dimensionality of the features. The idea is applied to stochastic bandits and reinforcement learning with a generative model where the learner has access to $d$-dimensional linear features that approximate the action-value functions for all policies to an accuracy of $ε$. For linear bandits, we prove a bound on the regret of order $\sqrt{dn \log(k)} + εn \sqrt{d} \log(n)$ with $k$ the number of actions and $n$ the horizon. For RL we show that approximate policy iteration can learn a policy that is optimal up to an additive error of order $ε\sqrt{d}/(1 - γ)^2$ and using $d/(ε^2(1 - γ)^4)$ samples from a generative model. These bounds are independent of the finer details of the features. We also investigate how the structure of the feature set impacts the tradeoff between sample complexity and estimation error.

연구 동기 및 목표

• 좋은 특징 표현이 생성 모델이 있는 확률적 밴디트와 RL에서 효율적인 학습을 위한 충분조건인지 조사하기.
• Du 등(2019)이 제기한 부정적인 결과에 대응하기 — 즉, 균일한 근사 오차 $ \varepsilon $ 하에서 $ O(\varepsilon) $-최적 정책을 찾는 것은 불가능하다는 주장에 대비하여.
• 하위최적성 갭이 $ O(\varepsilon\sqrt{d}) $인 방법을 개발하여, 오직 $ O(d\log\log d) $개의 행동 쿼리만으로도 이를 달성하기.
• 학습 문제를 쿼리 복잡도와 가치 추정으로 분리하여, 선형 밴디트와 생성 모델이 있는 RL 모두에서 분석이 가능하도록 하기.

제안 방법

• 키페어–월로비츠 정리를 활용해 행동 쿼리에 대한 근사 최적의 설계를 구성함으로써, 최소 제곱 추정에서의 최악의 경우 분산을 최소화한다.
• 최소 제곱 추정기를 적용하여, $ O(d\log\log d) $개의 잘 선택된 행동을 사용해 보상 함수를 근사함으로써, 최대 노름(max-norm)에서 유한한 추정 오차를 확보한다.
• 선형 밴디트의 경우, 누적 손실 경계는 $ \sqrt{dn\log k} + \varepsilon n\sqrt{d}\log n $로 유도되며, 여기서 $ n $은 수명 주기이고 $ k $는 행동 수이다.
• 생성 모델이 있는 RL에서는, $ d/((\varepsilon^2(1-\gamma)^4)) $개의 샘플을 사용해 근사 정책 반복을 수행함으로써, 정책의 하위최적성 갭이 $ O(\varepsilon\sqrt{d}/(1-\gamma)^2) $가 되도록 한다.
• 분석은 쿼리 복잡도와 가치 추정을 분리하며, 호프딩 부등식과 연산자 노름 한계를 사용해 정책 반복 중 오차 전파를 제어한다.
• 이 방법은 벨만 연산자의 균일 수축 성질에 의존하며, 근사 정책 평가의 오차는 $ \|Q - Q^*\|_\infty $ 노름을 통해 제한한다.

실험 결과

연구 질문

• RQ1 보상 함수가 $ d $차원 특징 공간에서 균일 오차 $ \varepsilon $로 선형적으로 근사 가능한 경우, 밴디트와 RL에서 효율적인 학습이 가능할 수 있는가?
• RQ2 진짜 최적 행동이 특징 공간에 포함되어 있지 않더라도, 오직 $ O(d\log\log d) $개의 행동 쿼리만으로도 하위최적성 갭이 $ O(\varepsilon\sqrt{d}) $ 이내인 근사 최적 행동을 찾는 것이 가능한가?
• RQ3 특징 공간의 차원수 $ d $가 잘못된 선형 모델에서 샘플 복잡도와 추정 오차 간의 트레이드오���에 어떤 영향을 미치는가?
• RQ4 제한된 샘플 수로 생성 모델에서 $ Q $-함수를 추정할 때, 근사 정책 반복에서 근사 오차를 제어할 수 있는가?
• RQ5 하위최적성 갭에서의 $ \sqrt{d} $ 배율 증가가 피할 수 없으며, 스파arsity나 기타 구조적 가정을 통해 이를 줄일 수 있는가?

주요 결과

• 논문은 어떤 알고리즘도 거의 모든 행동을 검토하지 않으면서 $ O(\varepsilon) $-최적 행동을 찾을 수 없음을 증명한다. 이는 보상 함수가 $ d $차원 선형 부분공간에서 $ \varepsilon $ 이내에 있을지라도 마찬가지이다.
• 긍정적인 결과로, 알고리즘이 오직 $ O(d\log\log d) $개의 행동 쿼리만으로도 하위최적성 갭이 $ O(\varepsilon\sqrt{d}) $ 이내인 행동을 찾을 수 있음을 보였다.
• 선형 밴디트의 경우, 누적 손실 경계는 $ \sqrt{dn\log k} + \varepsilon n\sqrt{d}\log n $이며, 이는 특정한 특징 구조에 독립적이다.
• 생성 모델이 있는 RL에서는, $ O(d/((\varepsilon^2(1-\gamma)^4)) $개의 샘플을 사용해 하위최적성 갭이 $ O(\varepsilon\sqrt{d}/(1-\gamma)^2) $인 정책을 학습한다.
• 분석 결과, 최악의 경우에서 $ \sqrt{d} $ 배율 증가는 피할 수 없으며, RL 경계에서의 $ 1/(1-\gamma)^2 $ 요소도 개선 가능성이 거의 없음을 보였다.
• 이 방법은 쿼리 복잡도와 가치 추정을 분리하여 청소하고 분석을 명확히 하며, 비선형 함수 클래스로의 일반화도 가능하게 한다.