[논문 리뷰] Information-Theoretic Confidence Bounds for Reinforcement Learning

Xiuyuan Lu, Benjamin Van Roy|arXiv (Cornell University)|2019. 11. 21.

Advanced Bandit Algorithms Research인용 수 15

한 줄 요약

이 논문은 톰슨 샘플링과 낙관적 알고리즘에서 상호정보량을 신뢰구간과 연결함으로써 정보이론적 신뢰구간을 강화학습에 도입한다. 에이전트의 불확실성과 정보 획득에 명시적으로 의존하는 손실 한계를 도출하여 선형 밴드잇, 표본 MDP, 그리고 인자 분해된 MDP에 대한 일반화된 성능 보장을 가능하게 한다. 이는 더 날카운드며 정보에 민감한 성능 보장으로 이어진다.

ABSTRACT

We integrate information-theoretic concepts into the design and analysis of optimistic algorithms and Thompson sampling. By making a connection between information-theoretic quantities and confidence bounds, we obtain results that relate the per-period performance of the agent with its information gain about the environment, thus explicitly characterizing the exploration-exploitation tradeoff. The resulting cumulative regret bound depends on the agent's uncertainty over the environment and quantifies the value of prior information. We show applicability of this approach to several environments, including linear bandits, tabular MDPs, and factored MDPs. These examples demonstrate the potential of a general information-theoretic approach for the design and analysis of reinforcement learning algorithms.

연구 동기 및 목표

• 상호정보량과 같은 정보이론적 양을 사용하여 탐색-이용 균형을 수식적으로 기술하기 위해.
• 모델의 파rametric 가정에 의존하지 않고 정보 획득 기반의 신뢰구간을 개발하여 더 넓은 적용 가능성을 확보하기 위해.
• 불확실성에 의존하는 손실 한계를 통해 사전 지식의 가치를 정량화하기 위해.
• 밴드잇을 넘어서 표본 MDP 및 인자 분해된 MDP와 같은 구조화된 환경으로 분석을 확장하기 위해.
• 정보이론적 도구를 사용하여 톰슨 샘플링과 낙관적 알고리즘을 분석하는 통합 프레임워크를 제공하기 위해.

제안 방법

• 환경에 대한 정보 획득을 측정하기 위해 상호정보량을 사용하여 파arametric 가정을 대체한다.
• 각 단계의 신뢰구간을 도출하여 손실를 한 단계의 정보 획득과 연결한다.
• 구조화된 사전분포와 정보 획득 한계를 사용하여 선형 밴드잇, 표본 MDP, 인자 분해된 MDP에 이 프레임워크를 적용한다.
• 추정 오차를 가치함수 근사에서 통제하기 위해 농도 부등식과 기대 이탈 한계를 사용한다.
• 환경에 대한 정보 획득과 한 단계의 손실를 연결하는 새로운 정보 비율 유사 분석을 도입한다.
• 에피소드 동안의 상호정보량에 대한 한계를 사용하여 누적 손실 한계를 확립하며, 이는 총 정보 획득에 비례한다.

실험 결과

연구 질문

• RQ1 정보이론적 양을 사용하여 강화학습에서의 신뢰구간을 어떻게 구성할 수 있는가?
• RQ2 환경에 대한 정보 획득은 톰슨 샘플링과 낙관적 알고리즘의 손실에 어느 정도 영향을 미치는가?
• RQ3 상호정보량은 다양한 강화학습 설정에서 탐색과 이용을 균형 잡는 데 일반적인 척도로 기능할 수 있는가?
• RQ4 불확실성과 정보 획득을 통해 어떻게 사전 지식이 성능에 영향을 미치는가?
• RQ5 이 프레임워크는 선형 밴드잇과 표본 MDP를 넘어서 복잡한 환경인 인자 분해된 MDP로 확장될 수 있는가?

주요 결과

• 톰슨 샘플링과 낙관적 알고리즘의 누적 손실 한계는 환경에 대한 총 정보 획득에 비례하며, 이는 사전 지식의 가치를 명시적으로 정량화한다.
• 인자 분해된 MDP의 경우, 정보 획득은 $ O(D \log(1+T)) $ 이하로 유계이며, 여기서 $ D $ 는 총 파라미터 수이고 $ T $ 는 에피소드 수이다.
• 선형 밴드잇과 표본 MDP의 경우, 환경와 관측 궤적 사이의 상호정보량을 사용하여 $ \tilde{O}(\sqrt{I}) $ 유형의 손실 한계를 도출한다.
• 이 프레임워크는 파arametric 모델 가정에서 벗어나 UCB와 톰슨 샘플링에 대한 이전 연구를 일반화한다.
• 분석 결과, 정보 획득은 각 단계의 탐색-이용 균형을 기술하는 데 사용될 수 있음을 보여준다.
• 인자 분해된 MDP의 희소성과 조건부 독립성을 활용함으로써, 이 방법은 구조화된 환경에서 더 날카운드며 강력한 손실 한계를 제공한다.