[论文解读] Globally Convergent Policy Search over Dynamic Filters for Output Estimation

Jack Umenberger, Max Simchowitz+3 more|arXiv (Cornell University)|Feb 23, 2022

Stochastic Gradient Optimization Techniques被引用 5

一句话总结

该论文提出了一种首个直接策略搜索算法，可保证收敛至线性动态系统中带有噪声和部分观测的输出估计的全局最优动态滤波器。通过引入基于信息性的正则化项和重条件化步骤，该方法确保在正则化目标上的梯度下降以 O(1/T) 的速率实现全局收敛，从而克服了有记忆滤波器优化中的退化问题。

ABSTRACT

We introduce the first direct policy search algorithm which provably converges to the globally optimal $ extit{dynamic}$ filter for the classical problem of predicting the outputs of a linear dynamical system, given noisy, partial observations. Despite the ubiquity of partial observability in practice, theoretical guarantees for direct policy search algorithms, one of the backbones of modern reinforcement learning, have proven difficult to achieve. This is primarily due to the degeneracies which arise when optimizing over filters that maintain internal state. In this paper, we provide a new perspective on this challenging problem based on the notion of $ extit{informativity}$, which intuitively requires that all components of a filter's internal state are representative of the true state of the underlying dynamical system. We show that informativity overcomes the aforementioned degeneracy. Specifically, we propose a $ extit{regularizer}$ which explicitly enforces informativity, and establish that gradient descent on this regularized objective - combined with a ``reconditioning step'' - converges to the globally optimal cost a $\mathcal{O}(1/T)$ rate. Our analysis relies on several new results which may be of independent interest, including a new framework for analyzing non-convex gradient descent via convex reformulation, and novel bounds on the solution to linear Lyapunov equations in terms of (our quantitative measure of) informativity.

研究动机与目标

• 为解决直接策略搜索在部分可观测控制问题中缺乏理论保证的问题，特别是由于有记忆滤波器引起的退化问题。
• 开发一种可证明收敛的优化方法，用于学习具有噪声和部分观测的线性动态系统中的最优动态滤波器。
• 通过引入一种基于信息性的新颖正则化项，克服在具有内部状态的滤波器上进行优化的挑战。
• 建立在正则化目标上使用重条件化步骤的梯度下降的全局收敛性，确保收敛至全局最优滤波器。

提出的方法

• 提出一种新正则化项 $\mathcal{R}_{\mathtt{info}}$，通过强制滤波器内部状态的每个分量均代表真实系统状态，以确保信息性。
• 提出一种重条件化步骤，以稳定优化过程并防止滤波器参数空间中的退化现象。
• 采用凸重构框架分析非凸梯度下降，从而实现收敛性保证。
• 推导出关于信息性度量的线性李雅普诺夫方程解的新界。
• 对正则化目标 $\mathcal{L}_{\lambda} = \mathcal{L}_{\mathtt{OE}} + \lambda \mathcal{R}_{\mathtt{info}}$ 应用梯度下降，确保全局收敛。
• 在所提算法下，建立正则化目标的 $\mathcal{O}(1/T)$ 收敛速率。

实验结果

研究问题

• RQ1 在部分可观测线性系统中，对动态滤波器进行直接策略搜索能否实现具有理论保证的全局收敛？
• RQ2 在滤波器内部状态依赖关系引发的退化问题中，如何在优化过程中克服这些退化？
• RQ3 信息性（即滤波器内部状态对真实状态的代表性）在确保稳定且全局收敛的优化过程中起到何种作用？
• RQ4 基于信息性的正则化项是否能够使优化收敛至全局最优滤波器，而无需依赖真实系统动态的先验知识？
• RQ5 在正则化目标上梯度下降的收敛速率是多少？重条件化步骤在其中起到了何种贡献？

主要发现

• 所提出的策略搜索算法能够实现对输出估计问题最优滤波器的全局收敛。
• 该算法以 $\mathcal{O}(1/T)$ 的速率收敛，这是在此类设置下一阶方法的最优收敛速率。
• 信息性正则化项成功消除了滤波器优化中的退化现象，确保所有内部状态均具有信息性。
• 该方法是首个为部分可观测线性系统中动态滤波器的直接策略搜索提供理论收敛保证的方法。
• 推导出关于信息性度量的李雅普诺夫方程解的新界，从而支持稳定性和收敛性分析。
• 分析表明，正则化目标在任意信息性滤波器的邻域内是 $\mathscr{C}^2$ 的，这支持了基于梯度的优化方法的应用。