[論文レビュー] Structured Local Optima in Sparse Blind Deconvolution

Yuqian Zhang, Han-Wen Kuo+1 more|arXiv (Cornell University)|Jun 1, 2018

Sparse and Compressive Sensing Techniques参考文献 35被引用数 8

ひとこと要約

本稿は、短いカーネルとスパースな活性化信号を前提としたスパースなブラインドデコンボリューションの非凸最適化フレームワークを提案する。カーネルを単位球面上に制約することで、滑らかでない鞍点を避ける単純な初期化と勾配降下法を組み合わせ、弱い条件下—特にスパースネス $\theta \lesssim k^{-2/3}$ および $m \gtrsim \operatorname{poly}(k)$—で、真のカーネルの近似シフト断片を回復することを示す。

ABSTRACT

Blind deconvolution is a ubiquitous problem of recovering two unknown signals from their convolution. Unfortunately, this is an ill-posed problem in general. This paper focuses on the {\em short and sparse} blind deconvolution problem, where the one unknown signal is short and the other one is sparsely and randomly supported. This variant captures the structure of the unknown signals in several important applications. We assume the short signal to have unit $\ell^2$ norm and cast the blind deconvolution problem as a nonconvex optimization problem over the sphere. We demonstrate that (i) in a certain region of the sphere, every local optimum is close to some shift truncation of the ground truth, and (ii) for a generic short signal of length $k$, when the sparsity of activation signal $θ\lesssim k^{-2/3}$ and number of measurements $m\gtrsim poly(k)$, a simple initialization method together with a descent algorithm which escapes strict saddle points recovers a near shift truncation of the ground truth kernel.

研究の動機と目的

• 神経パルス分類や顕微鏡法などの応用分野で一般的な短くスパースな信号構造を活用することで、ブラインドデコンボリューションの不適切な定式化を緩和する。
• 畳み込みに内在するスケール・シフトの不確かさを解消するため、スケーリング自由度を取り除くために問題を単位球面上に定式化する。
• 現実的なスパースネスとサンプルサイズの条件下で、局所最適解が真のカーネル $\mathbf{a}_0$ のシフト断片に近いことを理論的に保証する。
• 滑らかでない鞍点を避けることができ、収束が保証されるアルゴリズムフレームワークを提供する。

提案手法

• カーネルを単位球面 $\mathbb{S}^{k-1}$ 上で最適化する非凸最適化問題にブラインドデコンボリューションを定式化し、$-\|\check{\mathbf{y}} \circledast \mathbf{r}_{\mathbf{y}}(\mathbf{q})\|_4^4$ を最小化する。
• 逆転された活性化信号 $\mathbf{x}_0$ の近似として、プレコンディショナ $\mathbf{r}_{\mathbf{y}}(\mathbf{q})$ を用いる。
• カーネル $\mathbf{q}$ のフロベニウスノルムを1に制約することで、スケール・シフトの不確かさを解消する。
• 滑らかでない鞍点を避ける勾配降下法を適用し、非凸最適化理論のツールを活用する。
• モーメントのバウンドと行列集中不等式（例えば、ベルンシュタイン型）を用いて、目的関数および勾配の振る舞いを分析する。
• 球面上の特定の領域における局所最適解が、真のカーネル $\mathbf{a}_0$ のシフト断片に近いことを確立する。

実験結果

リサーチクエスチョン

• RQ1 スパースなブラインドデコンボリューションの非凸最適化の局所最適解が、真のカーネル $\mathbf{a}_0$ のシフト断片に近いかどうかを保証できるか。
• RQ2 スパースネス $\theta$ とサンプル数 $m$ がどのような条件下で、単純な初期化と勾配降下法が近似的に最適な解を回復できるか。
• RQ3 カーネルに単位ノルム制約を課すことで、最適化の幾何的構造にどのような影響を与えるか。
• RQ4 現実的な信号モデルの下で、構造的局所最適解の存在を厳密に証明できるか。
• RQ5 回復確率を高めるために必要な最小の測定数 $m$ はどの程度か。

主な発見

• 球面上の特定の領域におけるすべての局所最適解は、真のカーネル $\mathbf{a}_0$ のあるシフト断片に近い。
• 長さ $k$ の一般的な短い信号に対して、スパースネス $\theta \lesssim k^{-2/3}$ かつ測定数 $m \gtrsim \operatorname{poly}(k)$ のとき、アルゴリズムは真のカーネルの近似シフト断片を回復する。
• 単純な初期化と滑らかでない鞍点を避ける勾配降下法を組み合わせることで、近似的に最適な解が回復可能である。
• 畳み込み演算子の固有のシフト対称性により、最適化の多様体に構造的局所最適解が存在する。
• 理論的保証は、モーメントのバウンドと行列集中不等式（特にランダム行列・ベクトルに対するベルンシュタイン型不等式）を用いて確立される。
• スパースでランダムな活性化信号に対しても回復はロバストであり、信号構造に関する弱い仮定の下で高確率で成立する。