[논문 리뷰] Variational Bayesian Reinforcement Learning with Regret Bounds

Brendan O’Donoghue|arXiv (Cornell University)|2018. 07. 25.

Advanced Bandit Algorithms Research참고 문헌 100인용 수 15

한 줄 요약

이 논문은 기대 수익과 지식적 불확실성(epistemic uncertainty)을 모두 코딩하는 새로운 '지식 가치'(K-value)를 사용하는 변분 베이지안 강화학습 알고리즘인 K-학습을 소개한다. 위험 선호형 지수 utility 함수를 최적화하고 K-값에 대한 볼츠만 정책을 따름으로써, 이 방법은 $\tilde{O}(L\sqrt{SAT})$의 베이즈 손실 경계를 달성하며, 톰슨 샘플링의 최고 수준의 경계와 동일한 수준이며 정보 이론적 하한에 가까운 성능을 보인다.

ABSTRACT

In reinforcement learning the Q-values summarize the expected future rewards that the agent will attain. However, they cannot capture the epistemic uncertainty about those rewards. In this work we derive a new Bellman operator with associated fixed point we call the `knowledge values'. These K-values compress both the expected future rewards and the epistemic uncertainty into a single value, so that high uncertainty, high reward, or both, can yield high K-values. The key principle is to endow the agent with a risk-seeking utility function that is carefully tuned to balance exploration and exploitation. When the agent follows a Boltzmann policy over the K-values it yields a Bayes regret bound of $ ilde O(L \sqrt{S A T})$, where $L$ is the time horizon, $S$ is the total number of states, $A$ is the number of actions, and $T$ is the number of elapsed timesteps. We show deep connections of this approach to the soft-max and maximum-entropy strands of research in reinforcement learning.

연구 동기 및 목표

• 지식적 불확실성을 가치 함수에 통합하여 베이지안 강화학습에서 탐색과 이용의 상충 문제를 해결하기.
• 후행 확률 분포를 MDP에 대해 유지하면서도 효율적인 정책 최적화를 가능하게 하는 계산 가능하고 모델 기반의 알고리즘 개발하기.
• 강화학습의 손실 경계를 유도하여 최신 기술 수준의 성능를 달성하면서도, utility 최적화를 통한 엔트로피 정규화를 자연스럽게 통합하기.
• 탐색을 불확실성에 의해 이끌도록 하는 원칙적인 프레임워크를 제공하여, 부호화된 보너스 메커니즘을 피하기.

제안 방법

• 기대 향후 보상과 지식적 불확실성을 하나의 스칼라로 압축하는 새로운 벨먼 연산자에 대한 고정점으로서 K-값을 도입한다.
• 위험 선호형 지수 utility 함수를 사용하여, 높은 기대 수익이나 높은 불확실성을 가진 행동을 선호하는 행동을 유도한다.
• K-값에 대한 온도 조절 소프트맥스를 통해 정책을 효율적으로 계산할 수 있도록 하는 이중 최적화 문제(식 27)를 유도한다.
• 강력한 이중성과 라그랑주 제약을 사용하여, 손실 경계 최적화를 위한 정책 갱신 규칙을 유도한다.
• 온도 파rameter $\tau_t$를 통해 엔트로피 정규화를 동적으로 제어하며, 탐색과 이용의 균형을 최적화한다.
• 서로 다른 상태에 대한 방문 빈도의 누적 역수를 제한하기 위해 피졸리 원리 기반의 보조정리(보조정리 6)를 적용하여 최종 손실 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 명시적으로 지식적 불확실성을 포함하는 위험 선호형 utility 함수가 계산 가능하고 손실 최적화를 달성하는 강화학습 알고리즘을 이끌 수 있는가?
• RQ2 K-값에 대한 소프트맥스 정책은 어떤 원칙적인 utility 최적화 프레임워크에서 유도될 수 있으며, 이는 최적의 탐색을 보장하는가?
• RQ3 지식 기반의 베이지안 강화학습 알고리즘 중에서 가치 추정의 불확실성을 통합할 경우, 달성 가능한 가장 날카로운 베이즈 손실 경계는 무엇인가?
• RQ4 소프트 Q-학습에서의 엔트로피 보너스는 고정된 하이퍼파rameter가 아니라, utility 최적화의 결과로 유도될 수 있는가?
• RQ5 제안된 방법은 톰슨 샘플링 및 기타 최신 기술 수준의 베이지안 강화학습 알고리즘과 비교하여 손실 성능에서 어떻게 성과를 내는가?

주요 결과

• 제안된 K-학습 알고리즘은 $\tilde{O}(L\sqrt{SAT})$의 베이즈 손실 경계를 달성하며, 이는 톰슨 샘플링의 최고 수준의 경계와 로그 인자 수준에서 동일하다.
• 손실 경계는 정보 이론적 하한 $\Omega(\sqrt{LSAT})$에 $\sqrt{L}$ 요인 내에서 가까운 수준이며, 거의 최적임을 시사한다.
• 정책에서의 엔트로피 정규화는 고정된 하이퍼파rameter가 아니라, 손실 최소화를 위해 최적화되는 온도 $\tau_t$를 통해 동적으로 제어된다.
• K-값의 수식은 기대 수익과 지식적 불확실성을 자연스럽게 통합하여, 위험 선호형 탐색을 지원하는 단일 값 표현을 가능하게 한다.
• 이론적 분석은 이중 최적화 문제에서 유도된 정책이 강력한 이중성 조건 하에서 유도된 손실 경계를 만족함을 확인한다.
• 이 방법은 지수 utility 최적화의 관점에서 소프트 Q-학습, 최대 엔트로피 강화학습, 베이지안 탐색 간의 깊은 연결을 수립한다.