[论文解读] Comments on the Du-Kakade-Wang-Yang Lower Bounds

Benjamin Van Roy, Shi Dong|arXiv (Cornell University)|Nov 18, 2019

Advanced Bandit Algorithms Research参考文献 3被引用 26

一句话总结

本文通过表明杜等人在模型误设的线性函数逼近中得到的指数级样本复杂度下界，是在特征信息量不足（尽管奖励逼近准确）时出现的，而基于弹道维数的上界则在特征足够信息丰富时成立，从而揭示了在样本复杂度分析中，逼近准确度与特征信息量之间存在关键区别。

ABSTRACT

Du, Kakade, Wang, and Yang recently established intriguing lower bounds on sample complexity, which suggest that reinforcement learning with a misspecified representation is intractable. Another line of work, which centers around a statistic called the eluder dimension, establishes tractability of problems similar to those considered in the Du-Kakade-Wang-Yang paper. We compare these results and reconcile interpretations.

研究动机与目标

• 解决杜等人提出的指数级下界与基于弹道维数的上界在上下文带通学习中线性函数逼近的明显矛盾。
• 阐明在模型误设情况下，线性函数逼近在何种条件下仍能实现高效学习。
• 证明下界依赖于虽准确但无信息量的特征，违反了上界适用的前提假设。
• 表明关键区别在于特征的信息量，而不仅仅是逼近的准确度。
• 为在模型误设下线性函数逼近何时可实现高效学习提供统一解释。

提出的方法

• 形式化一个具有有限动作集 X、奖励函数 F 和特征映射 φ: X → ℝ^d 的上下文带通学习问题。
• 应用杜等人定理1，建立当特征无信息量但将 f* 近似在 ε 以内时，识别 ε′-最优动作所需的样本下界为 Ω(2^d)。
• 利用引理1构造满足 ∥φ(x)∥₂ = 1 且对 x ≠ y 有 |φᵀ(x)φ(y)| ≤ ε 的特征，确保一致的逼近误差 ε，同时保持无信息量。
• 通过弹道维数分析（来自 [2,3]）推导上界，表明若 ε√d ≤ 0.01，则可在 3d log(1 + 1/(dε²)) 次试验内找到 ε′-最优动作。
• 比较下界与上界成立的条件，识别出 (ε, d) 空间中互补的区域。
• 通过表明下界构造违反了上界适用所必需的信息量假设，从而调和了两种叙述。

实验结果

研究问题

• RQ1 在何种条件下，奖励的准确线性逼近仍无法实现高效的强化学习？
• RQ2 为何基于弹道维数的上界表明问题可解，而杜等人的下界却表明问题不可解？
• RQ3 如何区分准确但无信息量的特征与既准确又有信息量的特征？
• RQ4 样本复杂度边界如何依赖于逼近误差 ε 与特征维度 d 之间的相互作用？
• RQ5 能否通过识别分析中缺失的假设，调和下界与上界之间的明显矛盾？

主要发现

• 当特征无信息量但实现一致逼近误差 ε 时，Ω(2^d) 次试验的下界成立，如引理1的构造所示。
• 当 ε√d ≤ 0.01 时，3d log(1 + 1/(dε²)) 次试验的上界成立，表明在信息丰富的特征下可实现高效学习。
• 两个边界作用于互补区域：下界适用于 ε√d 较大（特征无信息量）的情形，上界适用于 ε√d 较小（特征信息丰富）的情形。
• 下界构造中使用的特征在高维空间中正交，使其无信息量，尽管逼近效果良好，这违反了弹道维数上界所依赖的假设。
• 动作数 |X| 通过条件 ε√d ≥ √(8 ln|X|) 影响下界区域，但不影响上界，后者仅依赖于 ε 和 d。
• 结果通过表明仅逼近准确度不足以保证高效学习，而特征信息量才是关键，从而调和了两种叙述。