[论文解读] Frames and numerical approximation

Ben Adcock, Daan Huybrechs|arXiv (Cornell University)|Dec 14, 2016

Mathematical Analysis and Transform Methods参考文献 66被引用 7

一句话总结

本文提出了一种基于正则化的框架，用于通过框架（即冗余、完备的系统，可推广正交基）数值计算函数的高精度近似。尽管截断框架的格拉姆矩阵条件数极差，该方法仍能实现 $√{ϵ}$ 阶（或通过修改后达到 $ϵ$ 阶）的误差界，且条件数被控制在 $1/√{ϵ}$ 以内，利用框架条件确保即使在标准基方法失效时，也能实现稳定且高精度的近似。

ABSTRACT

Functions of one or more variables are usually approximated with a basis: a complete, linearly-independent system of functions that spans a suitable function space. The topic of this paper is the numerical approximation of functions using the more general notion of frames: that is, complete systems that are generally redundant but provide infinite representations with bounded coefficients. While frames are well-known in image and signal processing, coding theory and other areas of applied mathematics, their use in numerical analysis is far less widespread. Yet, as we show via a series of examples, frames are more flexible than bases, and can be constructed easily in a range of problems where finding orthonormal bases with desirable properties (rapid convergence, high resolution power, etc.) is difficult or impossible. A key concern when using frames is that computing a best approximation requires solving an ill-conditioned linear system. Nonetheless, we construct a frame approximation via regularization with bounded condition number (with respect to perturbations in the data), and which approximates any function up to an error of order $\sqrtε$, or even of order $ε$ with suitable modifications. Here $ε$ is a threshold value that can be chosen by the user. Crucially, rate of decay of the error down to this level is determined by the existence of approximate representations of $f$ in the frame possessing small-norm coefficients. We demonstrate the existence of such representations in all of our examples. Overall, our analysis suggests that frames are a natural generalization of bases in which to develop numerical approximation. In particular, even in the presence of severely ill-conditioned linear systems, the frame condition imposes sufficient mathematical structure in order to give rise to accurate, well-conditioned approximations.

研究动机与目标

• 解决由截断框架引起的严重病态线性系统在数值计算高精度近似时的挑战。
• 证明框架在构造光滑多变量函数在任意几何形状下的高阶近似时，相较于正交基具有更大的灵活性。
• 开发一种正则化策略，确保条件数有界且收敛可达到 $ℓ(√{\u03f5})$ 阶误差，即使最佳近似本身病态。
• 建立框架中系数表示的小范数存在性决定了可实现的近似精度，将理论框架性质与数值性能联系起来。
• 表明过采样可进一步改善条件数并降低误差至 $ℓ(ϵ)$，使框架成为数值分析中传统基的可行替代方案。

提出的方法

• 该方法采用Tikhonov型正则化，求解与格拉姆矩阵相关的病态线性系统，以在截断框架中获得稳定近似。
• 引入参数 $ϵ$ 以控制误差阈值，确保正则化解的条件数不超过 $1/\u221a{ϵ}$。
• 该方法依赖于框架条件，以保证存在具有小范数系数的表示形式，这是收敛速率的基础。
• 以规范对偶框架作为基线，但通过寻找系数范数更小的更好近似，改进了该方法。
• 应用过采样以构建条件数为 $ℓ(1)$ 且误差为 $ℓ(ϵ)$ 的良好条件系统，从而增强数值稳定性。
• 理论分析将近似误差的衰减与框架中具有小 $ℓ^2$-范数系数的有限展开存在性联系起来。

实验结果

研究问题

• RQ1 能否在格拉姆矩阵严重病态的情况下，使用框架计算出准确且良好条件的数值近似？
• RQ2 框架条件与有限维截断框架中数值近似的稳定性和准确性之间存在何种关系？
• RQ3 与标准正交投影方法相比，正则化如何影响基于框架的近似的条件数和收敛速率？
• RQ4 过采样在多大程度上可改善框架近似的条件数并降低误差？
• RQ5 在框架中存在小范数系数表示的条件下，何时能实现高精度的数值近似？

主要发现

• 正则化框架近似实现了 $ℓ(√{ϵ})$ 阶误差界，且条件数被控制在 $1/\u221a{ϵ}$ 以内，即使在病态条件下也能确保数值稳定性。
• 近似收敛速率由函数在框架中存在具有小范数系数的有限展开所决定，而这一存在性由框架条件保证。
• 即使通过正交投影得到的最佳近似因病态而无法计算，正则化方法仍能提供一种数值稳定且误差受控的替代方案。
• 过采样可实现条件数为 $ℓ(1)$ 且误差为 $ℓ(ϵ)$ 的框架近似，显著提升鲁棒性。
• 在对偶框架导致收敛缓慢的情况下，该方法优于规范对偶框架展开，尤其在高维或不规则几何中表现更优。
• 数值实验表明，由于奇异值明显分为‘良好’和‘不良’两组，浮点数SVD计算格拉姆矩阵对误差影响极小。