[论文解读] Convergence properties of gradient methods for blind ptychography

Oleh Melnyk|arXiv (Cornell University)|Jun 14, 2023

Advanced X-ray Imaging Techniques被引用 4

一句话总结

本文首次为盲 ptychography 中的梯度下降和随机梯度下降方法提供了收敛性保证，证明在适当选择步长的情况下，能够以次线性速率收敛至临界点。本文正式将扩展的 ptychographic 迭代算法（ePIE）与随机梯度下降联系起来，并为其经验上的成功提供了理论依据。

ABSTRACT

We consider blind ptychography, an imaging technique which aims to reconstruct an object of interest from a set of its diffraction patterns, each obtained by a local illumination. As the distribution of the light within the illuminated region, called the window, is unknown, it also has to be estimated as well. For the recovery, we consider gradient and stochastic gradient descent methods for the minimization of amplitude-base squared loss. In particular, this includes extended Ptychographic Iterative Engine as a special case of stochastic gradient descent. We show that all methods converge to a critical point at a sublinear rate with a proper choice of step sizes. We also discuss possibilities for larger step sizes.

研究动机与目标

• 为盲 ptychography 中基于梯度的方法提供严格的数学收敛性分析，该技术通过衍射图案联合重建物体及其照明函数。
• 为扩展的 ptychographic 迭代引擎（ePIE）的经验证据成功提供理论依据，该算法此前缺乏收敛性保证。
• 分析在基于振幅的平方损失下，标准梯度下降与随机梯度下降在盲 ptychographic 重建中的收敛行为。
• 探讨在保持收敛性的前提下，梯度方法中使用更大步长的可能性。

提出的方法

• 将盲 ptychography 建模为联合优化问题，通过在物体和探针（窗口）上最小化基于振幅的平方损失函数。
• 应用标准梯度下降和随机梯度下降（SGD）来最小化损失，其中在随机情况下，更新基于单个衍射图案进行。
• 通过分析损失函数的期望减少量并控制由随机采样引起的鞅项，推导收敛速率。
• 使用随机优化中的工具，包括李雅普诺夫函数和鞅收敛定理，证明收敛至临界点。
• 证明在适当的步长序列下，物体和探针参数的梯度范数几乎必然收敛至零。
• 通过展示其更新规则与特定采样和步长选择下的随机梯度下降一致，直接将 ePIE 算法与 SGD 联系起来。

实验结果

研究问题

• RQ1 在基于振幅的平方损失下，梯度下降在盲 ptychography 中是否收敛？
• RQ2 扩展的 ptychographic 迭代引擎（ePIE）能否被正式证明为一种随机梯度下降方法？
• RQ3 何种步长条件可确保在盲 ptychography 中实现次线性收敛至临界点？
• RQ4 是否存在仍能保持收敛性的更大步长的理论边界？
• RQ5 能否在不引入额外假设的前提下，严格建立联合物体-探针优化的收敛性？

主要发现

• 当步长选择适当时，即采用可 summable 且平方可 summable 的序列时，梯度下降与随机梯度下降以次线性速率收敛至损失函数的临界点。
• 扩展的 ptychographic 迭代引擎（ePIE）被正式识别为随机梯度下降的一个特例，为这一广泛使用的算法首次提供了理论收敛保证。
• 物体和探针参数的梯度范数几乎必然收敛至零，表明已收敛至临界点。
• 即使采样索引非独立同分布，只要采样方案满足一定的有界性和混合性条件，该分析依然成立。
• 在额外假设下，如梯度范数有界且步长平方和收敛，可允许使用更大的步长。
• 证明依赖于鞅收敛和李雅普诺夫函数技术，以控制损失的期望减少量以及随机更新的方差。