[论文解读] Convex Programming for Estimation in Nonlinear Recurrent Models

Sohail Bahmani, Justin Romberg|arXiv (Cornell University)|Jan 1, 2020

Model Reduction and Neural Networks被引用 1

一句话总结

该论文为非线性递归模型中的估计问题提出了一种凸规划公式，其中递归神经网络是其特例。在稳定性和正则性条件下，该方法可得到一致估计器，并推导出样本复杂度，仿真结果验证了其在放宽假设条件下的鲁棒性。

ABSTRACT

We propose a formulation for nonlinear recurrent models that includes simple parametric models of recurrent neural networks as a special case. The proposed formulation leads to a natural estimator in the form of a convex program. We provide a sample complexity for this estimator in the case of stable dynamics, where the nonlinear recursion has a certain contraction property, and under certain regularity conditions on the input distribution. We evaluate the performance of the estimator by simulation on synthetic data. These numerical experiments also suggest the extent at which the imposed theoretical assumptions may be relaxed.

研究动机与目标

• 为非线性递归模型（包括递归神经网络）开发统一的估计框架。
• 通过在稳定性与正则性条件下采用凸优化，确保估计器的一致性。
• 为稳定动力学下的所提估计器推导理论样本复杂度边界。
• 在合成数据上评估估计器性能，并检验理论假设的鲁棒性。

提出的方法

• 将估计问题公式化为凸规划，以确保全局最优性和可计算性。
• 利用非线性递归中的压缩性质，保证稳定性与收敛性。
• 对输入分布施加正则性条件，以确保估计器的统计一致性。
• 应用凸松弛技术，将递归神经网络的参数化模型嵌入该框架。
• 在确保模型动力学满足压缩条件的参数空间上进行优化。
• 使用带凸约束的经验风险最小化，以强制实现递归模型的结构特性。

实验结果

研究问题

• RQ1 能否设计一种凸优化框架，用于在理论保证下估计非线性递归模型的参数？
• RQ2 在稳定动力学下，该估计器的样本复杂度边界可推导出何种结果？
• RQ3 诸如压缩性和输入正则性等理论假设在实际中如何影响估计器性能？
• RQ4 在保持估计精度的前提下，这些假设可被放宽到何种程度？

主要发现

• 在假设的稳定性和正则性条件下，所提估计器具有一致性，并推导出样本复杂度边界。
• 在合成数据上的仿真结果证实了估计器对理论假设轻微违反的鲁棒性。
• 凸公式化使得非线性递归模型的参数估计能够高效且全局最优地实现。
• 该方法成功地将标准的递归神经网络架构作为特例嵌入凸框架中。
• 即使输入分布轻微偏离假设的正则性条件，性能依然保持良好。
• 结果表明，凸规划在训练和分析非线性递归系统方面具有更广泛的应用潜力。