[论文解读] Sparse/Robust Estimation and Kalman Smoothing with Nonsmooth Log-Concave Densities: Modeling, Computation, and Theory

Aleksandr Y. Aravkin, James V. Burke+1 more|arXiv (Cornell University)|Jan 19, 2013

Target Tracking and Data Fusion in Sensor Networks参考文献 63被引用 48

一句话总结

本文提出了一种基于非光滑对数凹密度（特别是分段线性二次，PLQ）惩罚的稀疏且鲁棒估计的统计建模框架。它利用二次支撑函数的对偶表示，使内点法能够高效求解优化问题，实现卡尔曼平滑中的线性复杂度，将经典算法扩展至鲁棒、稀疏和非高斯设置，同时保持计算效率。

ABSTRACT

We introduce a class of quadratic support (QS) functions, many of which play a crucial role in a variety of applications, including machine learning, robust statistical inference, sparsity promotion, and Kalman smoothing. Well known examples include the l2, Huber, l1 and Vapnik losses. We build on a dual representation for QS functions using convex analysis, revealing the structure necessary for a QS function to be interpreted as the negative log of a probability density, and providing the foundation for statistical interpretation and analysis of QS loss functions. For a subclass of QS functions called piecewise linear quadratic (PLQ) penalties, we also develop efficient numerical estimation schemes. These components form a flexible statistical modeling framework for a variety of learning applications, together with a toolbox of efficient numerical methods for inference. In particular, for PLQ densities, interior point (IP) methods can be used. IP methods solve nonsmooth optimization problems by working directly with smooth systems of equations characterizing their optimality. The efficiency of the IP approach depends on the structure of particular applications. We consider the class of dynamic inverse problems using Kalman smoothing, where the aim is to reconstruct the state of a dynamical system with known process and measurement models starting from noisy output samples. In the classical case, Gaussian errors are assumed in the process and measurement models. The extended framework allows arbitrary PLQ densities to be used, and the proposed IP approach solves the generalized Kalman smoothing problem while maintaining the linear complexity in the size of the time series, just as in the Gaussian case. This extends the computational efficiency of classic algorithms to a much broader nonsmooth setting, and includes many recently proposed robust and sparse smoothers as special cases.

研究动机与目标

• 开发一种统计建模框架，将二次支撑（QS）函数解释为负对数密度，从而实现对非光滑、对数凹分布的概率推理。
• 建立QS函数可被解释为有效概率密度的条件，从而允许从标量PLQ构建块构造多元分布。
• 设计针对PLQ惩罚的高效数值算法，特别是针对动态逆问题（如卡尔曼平滑）。
• 将经典卡尔曼平滑的计算效率（时间序列长度的线性复杂度）扩展至更广泛的非光滑、鲁棒和稀疏模型类别。
• 提供一个统一的计算工具箱，用于一般PLQ问题，包括用于原型设计和实现的代码。

提出的方法

• 本文利用QS函数的对偶表示，刻画其可被解释为真实概率分布的负对数密度的条件。
• 聚焦于分段线性二次（PLQ）惩罚的子类，该类惩罚具有平滑、结构化的对偶形式，适用于优化。
• 应用内点（IP）方法通过求解刻画最优性的光滑方程组来求解由此产生的非光滑优化问题。
• 该方法将最优性条件表述为大规模方程组（9.10），并通过行变换将其约化为上块三角形式。
• 通过求逆块对角矩阵 $T_w$ 和 $T_v$，并使用块三对角算法求解块三对角系统 $\Omega \Delta x = \varrho$，实现高效求解。
• 由于 $\Omega$ 的块结构以及 $G$ 和 $H$ 的稀疏性，该框架在时间序列长度 $N$ 上保持线性复杂度 $O(N)$，与经典卡尔曼平滑一致。

实验结果

研究问题

• RQ1 二次支撑函数能否被解释为真实概率分布的负对数密度？在何种条件下可以？
• RQ2 如何从标量PLQ构建块构造具有指定均值和方差的非光滑多元分布？
• RQ3 内点法能否有效应用于求解由PLQ惩罚引起的非光滑优化问题？
• RQ4 所提出的框架在非高斯、鲁棒和稀疏模型下的卡尔曼平滑中是否保持时间序列长度的线性计算复杂度？
• RQ5 带有PLQ密度的广义卡尔曼平滑的最优性系统结构如何？如何高效求解？

主要发现

• PLQ惩罚的对偶表示使其可被解释为真实概率分布的负对数密度，为鲁棒和稀疏估计提供了统计基础。
• 所提出的内点法在 $O(N)$ 时间内求解带有PLQ密度的广义卡尔曼平滑问题，其复杂度与经典高斯卡尔曼平滑一致。
• 最优性系统（9.10）被约化为上块三角形式，且在条件（4.10）下 $T_w$ 和 $T_v$ 可逆，确保了数值稳定性。
• 最终系统中的矩阵 $\Omega$ 为对称正定且块三对角，可使用块三对角算法在 $O(Nn^3)$ 时间内求解。
• 求逆 $T_w$ 和 $T_v$ 分别耗时 $O(Nn^3)$ 和 $O(Nm^3)$，其余回代步骤耗时 $O(Nl)$，确保整体线性复杂度。
• 该框架包含用于原型设计一般PLQ问题的代码库，展示了其实际适用性和效率。