[论文解读] Correcting for unknown errors in sparse high-dimensional function approximation

Ben Adcock, Anyi Bao+1 more|arXiv (Cornell University)|Nov 21, 2017

Sparse and Compressive Sensing Techniques参考文献 66被引用 6

一句话总结

本文提出并分析了四种加权 $β$-最小化解码器——带二次约束的基追踪、LASSO、平方根LASSO和LAD-LASSO——用于在未知误差下的高维函数稀疏逼近。理论与数值结果表明，加权平方根LASSO在无需事先知晓噪声水平的情况下，实现了相当或更优的恢复性能，因此比其他方法更具鲁棒性和实用性。

ABSTRACT

We consider sparsity-based techniques for the approximation of high-dimensional functions from random pointwise evaluations. To date, almost all the works published in this field contain some a priori assumptions about the error corrupting the samples that are hard to verify in practice. In this paper, we instead focus on the scenario where the error is unknown. We study the performance of four sparsity-promoting optimization problems: weighted quadratically-constrained basis pursuit, weighted LASSO, weighted square-root LASSO, and weighted LAD-LASSO. From the theoretical perspective, we prove uniform recovery guarantees for these decoders, deriving recipes for the optimal choice of the respective tuning parameters. On the numerical side, we compare them in the pure function approximation case and in applications to uncertainty quantification of ODEs and PDEs with random inputs. Our main conclusion is that the lesser-known square-root LASSO is better suited for high-dimensional approximation than the other procedures in the case of bounded noise, since it avoids (both theoretically and numerically) the need for parameter tuning.

研究动机与目标

• 解决高维函数逼近中未知误差的挑战，特别是当截断、离散化和数值误差存在但无界时。
• 克服现有方法需要事先知晓误差界这一局限，而该假设在实际应用中往往不切实际。
• 在未知误差条件下，为四种促进稀疏性的解码器提供理论恢复保证，确保鲁棒性和一致性能。
• 评估这些解码器在纯函数逼近以及参数化常微分方程和偏微分方程不确定性量化中的数值性能。
• 证明加权平方根LASSO在实践中表现更优，因其对噪声水平调优不敏感，尽管在该背景下使用较少。

提出的方法

• 构建四种加权 $β$-最小化问题：加权二次约束基追踪、加权LASSO、加权平方根LASSO和加权LAD-LASSO。
• 利用采样矩阵的受限等距性和等距型条件，推导出统一且鲁棒的恢复误差估计。
• 基于稀疏度水平和噪声结构，为每种解码器建立理论调优参数规则，其中平方根LASSO的调优参数不依赖于噪声水平。
• 将解码器应用于具有随机输入的合成函数及参数化常微分方程/偏微分方程问题，以在现实误差模型下评估性能。
• 通过数值实验比较不同误差环境下各解码器的恢复精度、稳定性及对参数调优的敏感性。
• 通过分析对LAD-LASSO变体的分析，引入污染误差（稀疏且幅值较大），该方法对这类异常值具有鲁棒性。

实验结果

研究问题

• RQ1 当误差水平未知时，能否为基于稀疏性的函数逼近建立鲁棒的恢复保证？
• RQ2 在未知噪声条件下，加权LASSO、二次约束基追踪和平方根LASSO的性能及调优敏感性如何比较？
• RQ3 正如统计学中所建议的那样，平方根LASSO是否能在不依赖噪声水平知识的情况下保持强大的恢复性能？
• RQ4 参数化PDE中的结构化误差在多大程度上影响稀疏恢复方法中参数调优的需求？
• RQ5 LAD-LASSO解码器能否有效处理高维函数逼近中的稀疏、大幅值污染误差？

主要发现

• 加权平方根LASSO在无需事先知晓噪声水平的情况下，实现了统一且鲁棒的恢复保证，而二次约束基追踪和标准LASSO则不具备这一特性。
• 理论分析为所有四种解码器提供了最优调优规则，其中平方根LASSO的调优参数与未知噪声水平无关。
• 在合成函数上的数值实验表明，理论调优规则能为所有解码器带来最优性能。
• 在参数化常微分方程和偏微分方程问题中，即使调优极少，平方根LASSO的恢复精度也与其它方法相当或更优。
• 在处理稀疏、大幅值污染误差方面，LAD-LASSO解码器最为有效，在此类场景下表现优于其他方法。
• 本研究发现，由于误差模式具有结构性，现实问题中可能并不总是需要精细调优参数，尽管其理论解释仍待进一步探索。