[论文解读] Mesh Independence of an Accelerated Block Coordinate Descent Method for Sparse Optimal Control Problems

Xiaoliang Song, Bo Chen+1 more|arXiv (Cornell University)|Aug 31, 2017

Matrix Theory and Algorithms参考文献 23被引用 3

一句话总结

本文在希尔伯特空间中分析了一种用于通过对偶求解稀疏最优控制问题的加速块坐标下降（ABCD）方法。它建立了对偶问题和对偶问题的 $O(1/k)$ 迭代复杂度，并证明了两种类型的网格无关性，表明在网格细化下收敛行为保持渐近不变。

ABSTRACT

An accelerated block coordinate descent (ABCD) method in Hilbert space is analyzed to solve the sparse optimal control problem via its dual. The finite element approximation of this method is investigated and convergence results are presents. Based on the second order growth condition of the dual objective function, we show that iteration sequence of dual variables has the iteration complexity of $O(1/k)$. Moreover, we also prove iteration complexity for the primal problem. Two types of mesh-independence for ABCD method are proved, which asserts that asymptotically the infinite dimensional ABCD method and finite dimensional discretizations have the same convergence property, and the iterations of ABCD method remain nearly constant as the discretization is refined.

研究动机与目标

• 分析希尔伯特空间中用于稀疏最优控制问题的加速块坐标下降（ABCD）方法的收敛性质。
• 研究ABCD方法的有限元逼近并建立收敛结果。
• 证明网格无关性，表明无限维与有限维公式在网格细化下表现出等价的收敛行为。
• 在二阶增长条件下，为对偶问题和对偶问题建立迭代复杂度边界。

提出的方法

• 将ABCD方法应用于希尔伯特空间中稀疏最优控制问题的对偶公式。
• 采用有限元离散化来近似无限维问题，以实现数值计算。
• 收敛性分析依赖于对偶目标函数的二阶增长条件。
• 该方法采用块更新策略，通过类似动量的机制加速收敛。
• 通过比较连续与离散公式的迭代次数和收敛速率，证明了网格无关性。
• 利用变分分析和对偶目标函数的性质，推导出迭代复杂度的理论边界。

实验结果

研究问题

• RQ1 在二阶增长条件下，ABCD方法是否对对偶问题和对偶问题均实现 $O(1/k)$ 收敛速率？
• RQ2 随着有限元网格的细化，ABCD方法的收敛行为如何变化？
• RQ3 能否证明无限维ABCD方法在收敛性方面与有限维离散化在渐近意义上等价？
• RQ4 在何种条件下，迭代次数在网格细化过程中保持近乎恒定？
• RQ5 在相同假设下，对偶问题与对偶问题的迭代复杂度之间有何关系？

主要发现

• 在二阶增长条件下，对偶问题的迭代序列实现了 $O(1/k)$ 收敛速率。
• 对偶问题同样表现出 $O(1/k)$ 迭代复杂度，证实了加速收敛。
• 证明了两种类型的网格无关性：一种表明无限维与有限维公式在收敛行为上渐近等价。
• 另一种网格无关性结果表明，随着网格细化，所需迭代次数保持近乎恒定。
• ABCD方法在不同离散化水平下保持一致的收敛性能，表明其对网格细化具有鲁棒性。
• 理论结果证实，ABCD方法在通过对偶求解稀疏最优控制问题时既高效又可扩展。