[论文解读] Misspecified Nonconvex Statistical Optimization for Phase Retrieval

Zhuoran Yang, Lin F. Yang+4 more|arXiv (Cornell University)|Dec 18, 2017

Advanced X-ray Imaging Techniques参考文献 57被引用 4

一句话总结

本文提出了一种鲁棒的阈值Wirtinger流（TWF）算法变体，用于在模型误设条件下进行高维稀疏相位重建，其中单指数模型中的连接函数未知。尽管模型规格不正确，该方法通过仅利用响应变量与平方内积之间的非零协方差，线性收敛至具有最优统计精度的估计量，因此对任意未知连接函数具有鲁棒性，只要满足此弱条件即可。

ABSTRACT

Existing nonconvex statistical optimization theory and methods crucially rely on the correct specification of the underlying "true" statistical models. To address this issue, we take a first step towards taming model misspecification by studying the high-dimensional sparse phase retrieval problem with misspecified link functions. In particular, we propose a simple variant of the thresholded Wirtinger flow algorithm that, given a proper initialization, linearly converges to an estimator with optimal statistical accuracy for a broad family of unknown link functions. We further provide extensive numerical experiments to support our theoretical findings.

研究动机与目标

• 为解决非凸优化中现有理论假设统计模型正确指定这一关键局限性。
• 研究当单指数模型中真实连接函数未知或误设时的高维稀疏相位重建问题。
• 开发一种在模型误设下仍保持线性收敛与最优统计精度的算法。
• 在最小假设下建立理论保证，具体而言仅需假设响应变量与平方内积之间协方差非零。

提出的方法

• 提出一种改进的阈值Wirtinger流（TWF）算法，通过迭代软阈值与梯度下降步骤保持稀疏性。
• 采用合适的初始化策略，确保收敛至真实参数的邻域。
• 依赖于弱假设：Cov(Y, (X⊤β∗)²) ≠ 0，该条件对一大类未知连接函数均成立。
• 利用次高斯与次指数浓度不等式，控制高维随机矩阵设定下的估计误差。
• 应用联合界与矩阵浓度不等式，建立对关键经验过程（如Hessian矩阵与梯度项）的界。
• 假设∥β∗∥₂ = 1以确保模型可识别性，同时承认参数存在符号模糊性。

实验结果

研究问题

• RQ1 当相位重建中真实连接函数未知或误设时，非凸优化方法是否仍能实现线性收敛与最优统计精度？
• RQ2 对连接函数的何种最小统计假设足以保证在高维稀疏相位重建中实现收敛与估计一致性？
• RQ3 在弱矩条件（如响应变量与平方线性预测器之间协方差非零）下，所提算法表现如何？
• RQ4 在单指数模型框架下，阈值Wirtinger流对模型误设的鲁棒性达到何种程度？
• RQ5 该算法是否可在不依赖真实连接函数知识的前提下维持最优统计精度？

主要发现

• 所提算法即使在真实连接函数未知且误设的情况下，仍能线性收敛至具有最优统计精度的估计量。
• 在Cov(Y, (X⊤β∗)²) ≠ 0的弱条件下，收敛速率为线性，该条件对所有标准示例（如h(u,v) = u² + v, |u| + v, |u + v|）均成立。
• 该方法保持最优统计精度，估计误差被控制在O(√(s log p)/n)范围内，与给定模型下的极小极大下界一致。
• 理论保证在高维渐近下成立，且n = Ω(s² log p)，确保对大p的可扩展性。
• 通过次高斯浓度与联合界分析，建立了对关键经验过程的高概率界，验证了方法的鲁棒性。
• 只要满足协方差条件，该算法对任意未知连接函数均具有鲁棒性，展现出对模型误设的强韧性。