[論文レビュー] Convex and Nonconvex Optimization Are Both Minimax-Optimal for Noisy Blind Deconvolution

Yuxin Chen, Jianqing Fan+2 more|arXiv (Cornell University)|Aug 4, 2020

Sparse and Compressive Sensing Techniques参考文献 7被引用数 6

ひとこと要約

本稿は、部分空間モデル下でのノイズ付きブラインドデコンボリューションにおいて、凸緩和と2段階非凸アルゴリズムの両方が最小最大最適な統計的精度を達成することを確立している。凸緩和が最小最大最適であることを証明し、非凸手法が対数的反復回数でこの最適精度に収束することを示しており、次元の多項式的要因で先行研究を改善している。

ABSTRACT

We investigate the effectiveness of convex relaxation and nonconvex optimization in solving bilinear systems of equations (a.k.a. blind deconvolution under a subspace model). Despite the wide applicability, the theoretical understanding about these two paradigms remains largely inadequate in the presence of noise. The current paper makes two contributions by demonstrating that: (1) convex relaxation achieves minimax-optimal statistical accuracy vis-\`a-vis random noise, and (2) a two-stage nonconvex algorithm attains minimax-optimal accuracy within a logarithmic number of iterations. Both results improve upon the state-of-the-art results by some factors that scale polynomially in the problem dimension.

研究の動機と目的

• ノイズ下での双線形システムにおける凸緩和と非凸最適化の理論的ギャップを埋める。
• 確率的ノイズの存在下で凸緩和の最小最大最適性を確立する。
• ブラインドデコンボリューションにおける2段階非凸アルゴリズムの収束性と統計的精度を分析する。
• 問題次元において、先行研究を多項式的要因で改善する。

提案手法

• 本稿は、ブラインドデコンボリューション問題の半定値計画法による定式化を通じて、凸緩和を分析する。
• 確率的ノイズ下での凸緩和手法の統計的誤差バウンドを導出し、最小最大最適性を証明する。
• 最初にスペクトル初期化を行い、その後リーマン最適化スキームを適用する2段階非凸アルゴリズムを提案する。
• 非凸手法が、問題次元をnとしてO(log n)反復内で最小最大最適誤差率に収束することが示された。
• 理論的分析は、推定誤差をバウンドするために濃度不等式と確率的行列理論に依拠する。
• 同じノイズモデルと部分空間仮定の下で両アプローチを比較し、統計的効率性において同等であることを確立する。

実験結果

リサーチクエスチョン

• RQ1 凸緩和はノイズ付きブラインドデコンボリューションにおいて最小最大最適な統計的精度を達成するか？
• RQ2 非凸最適化アプローチは、効率的な収束を伴って最小最大最適誤差率に一致できるか？
• RQ3 高次元ノイズ付き設定における凸法と非凸法の収束速度はどのように比較できるか？
• RQ4 部分空間仮定と確率的ノイズ仮定下でのブラインドデコンボリューションの根本的統計的限界は何か？
• RQ5 先行研究の最良手法に対して、収束速度や誤差バウンドにおいて多項式的改善が存在するか？

主な発見

• 凸緩和はノイズ付きブラインドデコンボリューションにおいて最小最大最適な統計的精度を達成し、推定誤差の根本的下界と一致する。
• 2段階非凸アルゴリズムは、問題次元をnとしてO(log n)反復内で最小最大最適性に到達する。
• 非凸手法の収束速度は次元に対して対数的であり、これにより先行する多項式時間手法に比べ顕著な改善が得られた。
• 凸法と非凸法の両方が、ノイズレベルと問題次元に対して最適にスケーリングされる誤差率を達成する。
• 先行研究の最良手法に対する改善は問題次元に対して多項式的であり、理論的利点が裏付けられた。