[论文解读] Convergence of a greedy algorithm for high-dimensional convex nonlinear problems

Éric Cancès, Virginie Ehrlacher+1 more|arXiv (Cornell University)|Apr 1, 2010

Probabilistic and Robust Engineering Design参考文献 15被引用 55

一句话总结

本文提出一种贪心算法，通过迭代构建解的低秩张量近似，求解高维凸非线性问题，方法在Lipschitz梯度条件下全局收敛且收敛速率为指数级，从而实现通过惩罚公式在障碍问题中高效进行不确定性量化。

ABSTRACT

In this article, we present a greedy algorithm based on a tensor product decomposition, whose aim is to compute the global minimum of a strongly convex energy functional. We prove the convergence of our method provided that the gradient of the energy is Lipschitz on bounded sets. The main interest of this method is that it can be used for high-dimensional nonlinear convex problems. We illustrate this method on a prototypical example for uncertainty propagation on the obstacle problem.

研究动机与目标

• 开发一种可扩展的方法，用于计算不确定性量化和分子动力学中出现的高维凸非线性问题的全局最小值。
• 通过使用贪心张量积分解，克服函数逼近中的维数灾难问题。
• 为应用于具有Lipschitz连续梯度的强凸能量泛函的贪心算法建立收敛性保证。
• 通过惩罚公式在具有随机输入的障碍问题上展示该方法的有效性。

提出的方法

• 该算法将近似解表示为秩一张量积之和：$ u_n(t,x) = \sum_{k=1}^n r_k(t)s_k(x) $，其中 $ r_k $ 和 $ s_k $ 分别属于不同的希尔伯特空间。
• 在每次迭代 $ n $ 中，通过在当前近似加上一个新的秩一阶项的基础上最小化能量泛函，计算配对 $ (r_n, s_n) $。
• 该方法依赖于障碍问题的惩罚公式，将约束替换为能量泛函中的惩罚项，以实现平滑优化。
• 在梯度在有界集上满足Lipschitz连续性且底层希尔伯特空间满足结构条件(A1)和(A2)的假设下，证明了收敛性。
• 该算法在有限维设置下实现，收敛性通过能量差 $ \mathcal{E}(u_n) - \mathcal{E}(u) $ 和残差范数 $ \|F_n + \rho[G_n]_+\|_V $ 衡量。
• 在具有随机输入参数的一维障碍问题上的数值实验表明，该方法表现出指数收敛性，并且尽管存在惩罚引起的约束，仍能准确逼近解。

实验结果

研究问题

• RQ1 基于张量积分解的贪心算法能否在高维凸非线性问题上实现全局收敛？
• RQ2 当应用于具有高维输入参数的问题时，该算法是否能保持指数收敛速率？
• RQ3 与原始约束问题相比，惩罚公式如何影响解的精度和条件条件？
• RQ4 贪心方法在非线性PDE（如障碍问题）的不确定性量化中，能在多大程度上降低计算成本？
• RQ5 该收敛性理论能否扩展到障碍问题之外的其他问题类别，如双曲系统？

主要发现

• 在梯度在有界集上满足Lipschitz连续性的假设下，贪心算法强收敛于能量泛函的全局极小值点。
• 在有限维设置下，收敛速率为指数级，数值实验表明能量差 $ \mathcal{E}(u_n) - \mathcal{E}(u) $ 和残差范数 $ \|F_n + \rho[G_n]_+\|_V $ 均迅速衰减。
• 该方法即使在高维参数空间中，也能对具有随机输入的障碍问题解实现精确逼近。
• 当 $ \rho = 2500 $ 时，惩罚公式能良好逼近真实解，但由于正则化，约束 $ u \geq g $ 仅近似满足。
• 该算法将经典方法中的计算成本从 $ N = l^p m $ 降低至 $ \widetilde{N} = n(pl + m) $，当 $ n $ 保持较小时，使高维问题变得可处理。
• 数值结果表明，该算法能迅速捕捉解的主要模态，能量和残差范数在迭代过程中迅速下降。