[论文解读] Bilinear Classes: A Structural Framework for Provable Generalization in RL

Simon S. Du, Sham M. Kakade+5 more|arXiv (Cornell University)|Mar 19, 2021

Reinforcement Learning in Robotics参考文献 41被引用 21

一句话总结

本文提出了双线性类（Bilinear Classes）这一新型结构框架，通过函数逼近实现可证明的样本高效强化学习。通过将贝尔曼误差建模为双线性形式，该框架统一了现有高效的强化学习模型，并引入了新模型（如线性 $Q^*/V^*$ 和基于RKHS的模型），同时实现了依赖于监督学习泛化误差的多项式样本复杂度，通过信息论量扩展至无穷维设置。

ABSTRACT

This work introduces Bilinear Classes, a new structural framework, which permit generalization in reinforcement learning in a wide variety of settings through the use of function approximation. The framework incorporates nearly all existing models in which a polynomial sample complexity is achievable, and, notably, also includes new models, such as the Linear $Q^*/V^*$ model in which both the optimal $Q$-function and the optimal $V$-function are linear in some known feature space. Our main result provides an RL algorithm which has polynomial sample complexity for Bilinear Classes; notably, this sample complexity is stated in terms of a reduction to the generalization error of an underlying supervised learning sub-problem. These bounds nearly match the best known sample complexity bounds for existing models. Furthermore, this framework also extends to the infinite dimensional (RKHS) setting: for the the Linear $Q^*/V^*$ model, linear MDPs, and linear mixture MDPs, we provide sample complexities that have no explicit dependence on the explicit feature dimension (which could be infinite), but instead depends only on information theoretic quantities.

研究动机与目标

• 开发一种通用的结构框架，以捕捉广泛范围的强化学习模型，并实现可证明的样本效率。
• 在单一更一般的条件下，统一现有的高效强化学习框架（如贝尔曼秩、见证秩和贝尔曼完备性）。
• 将样本效率扩展至新模型类别，包括线性 $Q^*/V^*$ 和基于RKHS的MDP，这些类别在先前框架下无法处理。
• 提供依赖于监督学习泛化误差的样本复杂度边界，从而实现在不同模型间可迁移的分析。
• 利用信息论度量（如关键信息增益）将有限维结果扩展至无穷维函数空间。

提出的方法

• 提出双线性类作为结构条件，其中贝尔曼误差在两个函数之间呈现双线性形式：一个来自假设类，另一个来自判别类。
• 设计BiLin-UCB算法，利用双线性优化框架通过源自双线性结构的置信区间最小化贝尔曼误差。
• 将强化学习的样本复杂度降低为监督学习子问题的泛化误差，从而实现已知泛化边界在不同模型间的迁移。
• 引入关键信息增益作为非参数复杂度度量，以替代无穷维设置下对显式特征维度的依赖。
• 将该框架应用于新模型：线性 $Q^*/V^*$、基于RKHS的线性MDP和线性混合MDP，证明其样本复杂度不依赖于显式特征维度。
• 证明该框架涵盖了先前框架（如贝尔曼秩、见证秩），并可扩展至先前框架无法覆盖的模型，如因子MDP和低占用复杂度MDP。

实验结果

研究问题

• RQ1 是否存在一个单一的结构框架，能够统一现有可证明样本高效的强化学习模型，并扩展至新模型？
• RQ2 强化学习的样本复杂度能否以一种适用于多样化函数逼近设置的方式，被简化为监督学习的泛化误差？
• RQ3 该框架能否在无穷维函数空间（如RKHS）中实现样本效率，而无需显式依赖于特征维度？
• RQ4 是否存在新的模型类别（如线性 $Q^*/V^*$），在该框架下可被可证明地学习，但在先前框架下无法实现？
• RQ5 该框架能否捕捉如因子MDP和低占用复杂度MDP等模型，这些模型未被贝尔曼秩或见证秩所涵盖？

主要发现

• 双线性类框架推广了贝尔曼秩和见证秩，并包含了所有已知具有多项式样本复杂度的模型类别。
• BiLin-UCB算法实现了仅依赖于监督学习子问题泛化误差的多项式样本复杂度。
• 对于线性 $Q^*/V^*$、线性MDP和线性混合MDP，该框架提供了仅依赖于关键信息增益等信息论量的样本复杂度边界，而不依赖于显式特征维度。
• 该框架可扩展至无穷维RKHS设置，实现在函数逼近中无需显式维度依赖的非参数泛化。
• 该框架捕捉了新的模型，如线性 $Q^*/V^*$ 模型，该模型此前未被先前框架覆盖，且在本结构下可被可证明地学习。
• 理论分析表明，该框架包含了如因子MDP和低占用复杂度MDP等模型，这些模型未被贝尔曼秩或见证秩所涵盖，并在这些情况下提供了比先前方法更紧的样本复杂度边界。