[论文解读] Convex and Nonconvex Optimization Are Both Minimax-Optimal for Noisy Blind Deconvolution

Yuxin Chen, Jianqing Fan+2 more|arXiv (Cornell University)|Aug 4, 2020

Sparse and Compressive Sensing Techniques参考文献 7被引用 6

一句话总结

本文证明，在子空间模型下，凸松弛和两阶段非凸算法在噪声盲卷积中均能达到极小极大最优的统计精度。它证明了凸松弛方法具有极小极大最优性，且非凸方法可在对数迭代次数内收敛至该最优精度，相较于以往结果在维度上实现了多项式级别的改进。

ABSTRACT

We investigate the effectiveness of convex relaxation and nonconvex optimization in solving bilinear systems of equations (a.k.a. blind deconvolution under a subspace model). Despite the wide applicability, the theoretical understanding about these two paradigms remains largely inadequate in the presence of noise. The current paper makes two contributions by demonstrating that: (1) convex relaxation achieves minimax-optimal statistical accuracy vis-\`a-vis random noise, and (2) a two-stage nonconvex algorithm attains minimax-optimal accuracy within a logarithmic number of iterations. Both results improve upon the state-of-the-art results by some factors that scale polynomially in the problem dimension.

研究动机与目标

• 为填补在噪声条件下对双线性系统中凸松弛与非凸优化的理论理解空白。
• 在存在随机噪声的情况下，建立凸松弛方法的极小极大最优性。
• 分析两阶段非凸算法在盲卷积中的收敛性与统计精度。
• 在问题维度上，相较于现有最优结果实现多项式级别的改进。

提出的方法

• 本文通过盲卷积问题的半定规划公式分析凸松弛方法。
• 在随机噪声下推导出凸松弛方法的统计误差界，证明其具有极小极大最优性。
• 提出一种两阶段非凸算法，首先采用谱初始化，随后应用黎曼优化方法。
• 证明非凸方法可在 O(log n) 次迭代内收敛至极小极大最优误差率，其中 n 为问题维度。
• 理论分析依赖于大数不等式与随机矩阵理论，以界定估计误差。
• 在相同的噪声模型与子空间假设下，比较两种范式，证明其在统计效率上具有等价性。

实验结果

研究问题

• RQ1 凸松弛方法在噪声盲卷积中是否能达到极小极大最优的统计精度？
• RQ2 非凸优化方法能否以高效收敛的方式达到极小极大最优误差率？
• RQ3 在高维噪声环境下，凸方法与非凸方法的收敛速率如何比较？
• RQ4 在子空间与随机噪声假设下，盲卷积的根本统计极限是什么？
• RQ5 相较于以往最优方法，是否存在收敛性或误差界上的多项式改进？

主要发现

• 凸松弛方法在噪声盲卷积中实现了极小极大最优的统计精度，与估计误差的理论下限完全匹配。
• 两阶段非凸算法可在 O(log n) 次迭代内达到极小极大最优性，其中 n 为问题维度。
• 非凸方法的收敛速率在维度上为对数级，显著优于以往的多项式时间方法。
• 凸方法与非凸方法的误差率均随噪声水平与问题维度实现最优缩放。
• 相较于现有最优结果的改进在问题维度上呈多项式规模，证实了理论上的优势。