[论文解读] Information-Theoretic Confidence Bounds for Reinforcement Learning

Xiuyuan Lu, Benjamin Van Roy|arXiv (Cornell University)|Nov 21, 2019

Advanced Bandit Algorithms Research被引用 15

一句话总结

本文通过将互信息与 Thompson 采样及乐观算法中的置信区间相联系，提出了强化学习的信息论置信边界。其推导出的遗憾边界明确依赖于智能体的不确定性与信息增益，从而实现了在线性Bandits、表格型MDP和因子MDP中的泛化，提供了更紧致、信息感知的性能保证。

ABSTRACT

We integrate information-theoretic concepts into the design and analysis of optimistic algorithms and Thompson sampling. By making a connection between information-theoretic quantities and confidence bounds, we obtain results that relate the per-period performance of the agent with its information gain about the environment, thus explicitly characterizing the exploration-exploitation tradeoff. The resulting cumulative regret bound depends on the agent's uncertainty over the environment and quantifies the value of prior information. We show applicability of this approach to several environments, including linear bandits, tabular MDPs, and factored MDPs. These examples demonstrate the potential of a general information-theoretic approach for the design and analysis of reinforcement learning algorithms.

研究动机与目标

• 使用互信息等信息论量来形式化探索-利用权衡。
• 基于信息增益而非参数假设构建置信边界，以实现更广泛的应用。
• 通过依赖不确定性的遗憾边界量化先验信息的价值。
• 将分析从Bandits扩展到结构化环境，如表格型和因子MDP。
• 提供一个统一框架，利用信息论工具分析Thompson采样和乐观算法。

提出的方法

• 使用互信息量化对环境的信息增益，替代参数假设。
• 推导每周期的置信边界，将遗憾与单周期信息增益关联。
• 通过结构化先验和信息增益边界，将该框架应用于线性Bandits、表格型MDP和因子MDP。
• 使用浓度不等式和期望偏差边界，控制值函数近似中的估计误差。
• 引入一种新颖的信息比类分析，将单周期遗憾与对环境的信息增益联系起来。
• 建立累积遗憾边界，其规模与总信息增益成正比，利用对多轮次中互信息的界。

实验结果

研究问题

• RQ1 信息论量如何用于在强化学习中构建置信边界？
• RQ2 对环境的信息增益在Thompson采样和乐观算法中在多大程度上影响遗憾？
• RQ3 互信息能否作为在不同强化学习设置中平衡探索与利用的通用度量？
• RQ4 先验知识如何通过不确定性与信息增益量化影响性能？
• RQ5 该框架能否扩展到线性Bandits和表格型MDP之外的复杂环境，如因子MDP？

主要发现

• Thompson采样和乐观算法的累积遗憾边界与对环境的总信息增益成正比，明确量化了先验信息的价值。
• 对于因子MDP，信息增益被限制在$ O(D \log(1+T)) $以内，其中$ D $为参数总数，$ T $为回合数。
• 线性Bandits和表格型MDP的遗憾边界通过环境与观测轨迹之间的互信息推导，得到$ \tilde{O}(\sqrt{I}) $类型的遗憾边界。
• 该框架通过脱离参数模型假设，推广了先前关于UCB和Thompson采样的工作。
• 分析表明，信息增益可用于在每周期基础上刻画探索-利用权衡。
• 该方法通过利用因子MDP中的稀疏性和条件独立性，在结构化环境中实现了更紧致的遗憾边界。