[论文解读] Efficient Reinforcement Learning for High Dimensional Linear Quadratic Systems

Morteza Ibrahimi, Adel Javanmard+1 more|arXiv (Cornell University)|Mar 24, 2013

Advanced Bandit Algorithms Research参考文献 13被引用 17

一句话总结

该论文提出了一种用于高维线性二次（LQ）系统且具有稀疏动态特性的自适应强化学习算法，实现了 $O(packslashackslashsqrt{T})$ 的遗憾边界——相比先前的 $O(p^{p+r+2}ackslashackslashsqrt{T})$ 边界有显著改进。通过利用系统矩阵中的稀疏性并采用乐观参数估计，该算法在 $ p $ 的对数多项式时间内达到 $ (1+\epsilon) $-最优平均成本，从而在在线广告等高维场景中实现高效控制。

ABSTRACT

We study the problem of adaptive control of a high dimensional linear quadratic (LQ) system. Previous work established the asymptotic convergence to an optimal controller for various adaptive control schemes. More recently, for the average cost LQ problem, a regret bound of ${O}(\sqrt{T})$ was shown, apart form logarithmic factors. However, this bound scales exponentially with $p$, the dimension of the state space. In this work we consider the case where the matrices describing the dynamic of the LQ system are sparse and their dimensions are large. We present an adaptive control scheme that achieves a regret bound of ${O}(p \sqrt{T})$, apart from logarithmic factors. In particular, our algorithm has an average cost of $(1+\eps)$ times the optimum cost after $T = \polylog(p) O(1/\eps^2)$. This is in comparison to previous work on the dense dynamics where the algorithm requires time that scales exponentially with dimension in order to achieve regret of $\eps$ times the optimal cost. We believe that our result has prominent applications in the emerging area of computational advertising, in particular targeted online advertising and advertising in social networks.

研究动机与目标

• 为解决现有强化学习算法在高维线性二次（LQ）系统中因状态维度 $ p $ 增大而导致遗憾指数级增长的问题。
• 开发一种自适应控制方案，实现在高维场景下 $ p \gg 1 $ 时，以最小遗憾达到近似最优性能。
• 利用系统矩阵 $ A^0 $ 和 $ B^0 $ 的稀疏性，仅通过 $ O(\log(p+r)) $ 次观测即可实现准确且高效的参数估计。
• 建立一个随维度 $ p $ 呈良好增长的遗憾边界，实现在 $ \text{polylog}(p) \cdot O(1/\epsilon^2) $ 时间内达到 $ (1+\epsilon) $-最优成本。

提出的方法

• 采用不确定性下的乐观性（OFU）原则，在置信集内选择最乐观的参数估计，以确保探索并收敛至最优控制。
• 围绕估计的系统参数 $ \widetilde{\Theta}_t $ 构建置信集 $ \Omega_t $，以高概率保证 $ \Theta^0 \in \Omega_t $。
• 采用成本分解技术，通过三个误差项 $ C_1, C_2, C_3 $ 将累积成本与最优成本关联，这些误差项在高概率事件下可被有界。
• 引入两个关键事件：$ \mathcal{E}_1 $（真实参数位于置信集中）和 $ \mathcal{E}_2 $（噪声有界），以推导遗憾的高概率边界。
• 应用浓度不等式以及黎卡提算子 $ K(\widetilde{\Theta}_t) $ 的谱范数界，以控制估计误差和控制误差的增长。
• 利用 $ A^0 $ 和 $ B^0 $ 的稀疏性，减少有效参数数量，从而实现仅用少量样本即可准确估计，并改善遗憾边界的缩放性能。

实验结果

研究问题

• RQ1 强化学习算法是否能在高维 LQ 系统中实现随维度 $ p $ 多项式增长的遗憾边界？
• RQ2 在系统动态中利用稀疏性是否能显著提升自适应控制算法的样本效率与遗憾缩放性能？
• RQ3 基于 OFU 的算法是否能在 $ p $ 的对数多项式时间内实现 $ (1+\epsilon) $-最优性能，而非指数时间？
• RQ4 当系统矩阵为稀疏时，与密集情况相比，遗憾如何随维度变化？

主要发现

• 所提出的算法实现了 $ O(p\sqrt{T}) $ 的遗憾边界（对数因子内），相比密集系统中先前的 $ O(p^{p+r+2}\sqrt{T}) $ 边界有显著改进。
• 该算法在 $ T = \text{polylog}(p) \cdot O(1/\epsilon^2) $ 时间步后，平均成本可达到最优成本的 $ (1+\epsilon) $ 以内，实现在高维场景下的快速收敛。
• 在系统矩阵稀疏的假设下，仅需 $ O(\log(p+r)) $ 次观测即可实现准确的参数估计，从而实现高效学习。
• 遗憾边界通过高概率分解为三个误差项 $ C_1, C_2, C_3 $ 推导得出，每个误差项均通过浓度不等式与谱范数技术有界。
• 分析表明，由于充分利用了稀疏性并精心设计了置信集，遗憾边界随 $ p $ 线性增长，而非指数增长。