[论文解读] Bellman Error Based Feature Generation using Random Projections on Sparse Spaces

Mahdi Milani Fard, Yuri Grinberg+3 more|PolyPublie (École Polytechnique de Montréal)|Jul 23, 2012

Reinforcement Learning in Robotics参考文献 34被引用 10

一句话总结

该论文提出了一种快速、鲁棒的算法，用于在高维稀疏特征空间中生成贝尔曼误差基函数（BEBFs），方法是利用随机投影。通过将特征投影到对数规模的子空间，并对时序差分应用线性回归，该方法在有限样本条件下确保值函数误差的收缩，其效率和准确性优于基于梯度的方法以及带随机投影的LSTD方法。

ABSTRACT

We address the problem of automatic generation of features for value function approximation. Bellman Error Basis Functions (BEBFs) have been shown to improve the error of policy evaluation with function approximation, with a convergence rate similar to that of value iteration. We propose a simple, fast and robust algorithm based on random projections to generate BEBFs for sparse feature spaces. We provide a finite sample analysis of the proposed method, and prove that projections logarithmic in the dimension of the original space are enough to guarantee contraction in the error. Empirical results demonstrate the strength of this method.

研究动机与目标

• 为高维稀疏状态空间中的值函数近似，解决可扩展的、自动的特征生成挑战。
• 开发一种高效生成贝尔曼误差基函数（BEBFs）的方法，无需依赖领域特定的特征工程。
• 在保持计算效率的同时，提供有限样本条件下的误差收缩理论保证。
• 在大规模强化学习问题中实现鲁棒且快速的策略评估，且超参数调优需求最小化。

提出的方法

• 该方法使用随机投影，将稀疏特征空间的维度对数级地降低至原始维度。
• 在每次迭代中，算法将原始特征投影到低维空间，并应用线性回归来估计贝尔曼误差。
• 投影后的特征被用于迭代地改进值函数近似，确保在加权L²范数下误差的收缩。
• 理论分析表明，O(log D) 个投影足以保证误差收缩，其中 D 为原始特征维度。
• 该方法利用 k-稀疏特征的结构，适用于离散和连续状态空间，包括瓦片编码表示。
• 它使用 Moore-Penrose 广义逆矩阵和浓度不等式来限制估计误差并确保稳定性。

实验结果

研究问题

• RQ1 能否利用随机投影在高维稀疏特征空间中高效生成BEBFs？
• RQ2 保证值函数近似误差收缩所需的最少随机投影数量是多少？
• RQ3 与基于梯度的方法以及带随机投影的LSTD方法相比，该方法在性能和样本效率方面表现如何？
• RQ4 该方法在不同参数设置下，其鲁棒性和计算成本的低水平在多大程度上得以保持？

主要发现

• 该方法仅需 O(log D) 个随机投影即可实现误差收缩，其中 D 为原始特征维度，从而确保理论收敛性。
• 实验结果表明，该算法在样本效率和最终误差方面均优于基于梯度的特征生成方法以及带随机投影的LSTD方法。
• 该算法计算效率高，每次迭代的时间复杂度为特征数量的多项式对数级，使其可扩展至高维空间。
• 该方法内存复杂度低，对超参数选择不敏感，在实际应用中几乎无需调优。
• 理论分析证实，即使在原始特征空间极大且稀疏的情况下，该方法仍能在有限样本条件下保持误差收缩。