[논문 리뷰] Regret Balancing for Bandit and RL Model Selection

Yasin Abbasi-Yadkori, Aldo Pacchiano외 1명|arXiv (Cornell University)|2020. 06. 09.

Advanced Bandit Algorithms Research참고 문헌 2인용 수 9

한 줄 요약

이 논문은 확률적 밴딧 및 강화학습 환경에서 모델 선택을 위한 손실 균형 전략을 제안한다. 에이전트는 모든 옵션 간 성능를 균형 잡기 위해 가장 작은 경험적 손실을 기록한 기본 알고리즘을 선택한다. 이 방법은 안정성 조건을 요구하지 않으며, 근사 최적의 손실을 달성할 수 있음을 보여주며, 근사 최적성 달성을 위해 최적의 기본 손실을 알고 있어야 한다는 점을 밝힌다.

ABSTRACT

We consider model selection in stochastic bandit and reinforcement learning problems. Given a set of base learning algorithms, an effective model selection strategy adapts to the best learning algorithm in an online fashion. We show that by estimating the regret of each algorithm and playing the algorithms such that all empirical regrets are ensured to be of the same order, the overall regret balancing strategy achieves a regret that is close to the regret of the optimal base algorithm. Our strategy requires an upper bound on the optimal base regret as input, and the performance of the strategy depends on the tightness of the upper bound. We show that having this prior knowledge is necessary in order to achieve a near-optimal regret. Further, we show that any near-optimal model selection strategy implicitly performs a form of regret balancing.

연구 동기 및 목표

• 최적의 알고리즘이 사전에 알려지지 않은 확률적 밴딧 및 강화학습 설정에서 다수의 기본 학습 알고리즘 중에서 선택하는 문제에 대응한다.
• 기본 알고리즘의 수정 없이도 온라인으로 최고 성능을 내는 기본 알고리즘에 적응하는 모델 선택 전략을 개발한다.
• 기본 알고리즘이 안정적이지 않을 경우에도 근사 최적의 손실을 달성하기 위해 손실 균형이 필수적임을 보여준다.
• 근사 최적의 성능를 달성하기 위해 최적의 기본 손실을 알고 있거나 액터의 액션 피드백에 직접 접근할 필요가 있음을 이론적으로 입증한다.
• 모델 선택 프레임워크를 선형 MDP로 확장하고, 이러한 환경에서 손실 균형 전략이 날카운 손실 경계를 제공함을 보여준다.

제안 방법

• 각 기본 알고리즘의 경험적 손실을 실시간으로 추정하고, 각 단계에서 가장 작은 경험적 손실을 기록한 알고리즘을 선택한다.
• 손실 균형 과정을 안내하기 위해 타겟 손실 함수 $ U(t) $ 를 사용하여 모든 기본 알고리즘의 손실이 유사한 속도로 증가하도록 보장한다.
• 손실 균형 전략을 확률적 밴딧과 선형 MDP 모두에 적용하며, 강화학습 환경에서는 LSVI-UCB를 기본 알고리즘으로 사용한다.
• 최적의 기본 손실이 알려지지 않은 경우에도 근사 최적의 성능를 달성할 수 있도록 강제 탐색 전략을 도입한다.
• 이론적 분석을 통해 근사 최적의 모델 선택 전략은 암묵적으로 손실 균형을 수행해야 한다는 점을 보여준다.
• 최적의 기본 손실에 대한 사전 지식이나 직접적인 액션 샘플링이 없이서는 어떤 모델 선택 전략도 근사 최적성을 달성할 수 없다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 기본 알고리즘에 대한 안정성 조건을 요구하지 않고도, 확률적 밴딧 및 강화학습 문제에서 근사 최적의 손실을 달성할 수 있는 모델 선택 전략이 존재하는가?
• RQ2 기본 알고리즘이 안정적이지 않더라도, 근사 최적의 손실을 달성하기 위해 손실 균형이 필수적인 조건인가?
• RQ3 최적의 기본 손실에 대한 사전 지식이 모델 선택에서 근사 최적의 성능를 달성하는 데 어떤 역할을 하는가?
• RQ4 손실 균형 전략은 선형 MDP로 확장될 수 있으며, 이러한 환경에서 어떤 손실 경계를 달성할 수 있는가?
• RQ5 어떤 문제 설정에서는 근사 최적의 성능를 내는 모든 모델 선택 전략이 암묵적으로 손실 균형을 수행해야 하는가?

주요 결과

• LSVI-UCB를 사용하고 $ M $ 개의 특징 매핑을 가질 경우, 선형 MDP에서 손실 균형 전략은 $ \tilde{\mathcal{O}}(M\sqrt{d^{3}H^{3}T}) $ 의 손실 경계를 달성한다.
• 이 전략은 기본 알고리즘에 대한 수정 없이도 적용 가능하므로, UCB와 톰슨 샘플링을 포함한 모든 확률적 밴딧 알고리즘에 적용 가능하다.
• 근사 최적성을 달성하는 모든 모델 선택 전략은 하한 경계 구성에 의해 암묵적으로 손실 균형을 수행해야 한다는 점이 입증되었다.
• 최적의 기본 손실을 알고 있어야만 근사 최적의 성능를 달성할 수 있으며, 그렇지 않으면 최적의 기본 알고리즘보다 엄격히 더 나쁜 손실을 기록할 수 있다.
• 강제 탐색을 통해 최적의 기본 손실이 알려지지 않은 경우에도 손실 균형 전략은 근사 최적성을 달성할 수 있다.
• 이론적 분석을 통해 손실 균형은 광범위한 문제 클래스에서 근사 최적의 모델 선택을 달성하기 위해 충분하고 필수적임을 보였다.