[論文レビュー] Manifold Gradient Descent Solves Multi-Channel Sparse Blind Deconvolution Provably and Efficiently

Laixi Shi, Yuejie Chi|arXiv (Cornell University)|Nov 25, 2019

Sparse and Compressive Sensing Techniques参考文献 52被引用数 4

ひとこと要約

本稿では、球面上のスパarsity促進損失関数の滑らかな代替関数を最適化することで、多チャネルスパースブラインドデコンボリューション（MSBD）を証明可能かつ効率的に解くための多様体勾配降下法（MGD）を提案する。ランダムデータモデルのもとで観測数が十分に大きい場合、MGDは初期化をランダムに選んでも、スケーリングおよびシフトの不確かさを除き、未知のフィルタを高確率で回復できることを確立している。

ABSTRACT

Multi-channel sparse blind deconvolution, or convolutional sparse coding, refers to the problem of learning an unknown filter by observing its circulant convolutions with multiple input signals that are sparse. This problem finds numerous applications in signal processing, computer vision, and inverse problems. However, it is challenging to learn the filter efficiently due to the bilinear structure of the observations with the respect to the unknown filter and inputs, as well as the sparsity constraint. In this paper, we propose a novel approach based on nonconvex optimization over the sphere manifold by minimizing a smooth surrogate of the sparsity-promoting loss function. It is demonstrated that manifold gradient descent with random initializations will provably recover the filter, up to scaling and shift ambiguity, as soon as the number of observations is sufficiently large under an appropriate random data model. Numerical experiments are provided to illustrate the performance of the proposed method with comparisons to existing ones.

研究の動機と目的

• 複素構造とスパarsity制約を有する複数の畳み込みから未知のフィルタとスパース入力を効率的に回復する課題に対処すること。
• スケーリングおよびシフトの不確かさを除き、証明可能にフィルタを回復できる非凸最適化フレームワークの構築。
• ランダムデータモデル下で球面上の多様体勾配降下の収束保証を確立すること。
• 従来の非凸または凸アプローチに対する滑らかで計算的に効率的な代替手法の提供。

提案手法

• MSBD問題を、球面上のスパarsity促進損失関数の滑らかな代替関数を最小化する問題として定式化する。
• 多様体勾配降下（MGD）を用いて球面上で最適化を実行し、逆フィルタの性質を活用することで双線形構造を回避する。
• 双曲正割関数による$–\ell_0$ノルムの滑らかな近似を用いて微分可能性と効率的な最適化を可能にする。
• 同定可能性を保証するため、フィルタに可逆性条件を課し、逆フィルタリングにより双線形問題を線形問題に変換する。
• 経験的損失関数の幾何構造を分析し、適切な条件下で真の解の周囲で局所的強い凸性が成立することを確立する。
• 集中不等式とモーメントバウンドを用いて、高次元設定における勾配およびヘッセ行列の項の振る舞いを制御する。

実験結果

リサーチクエスチョン

• RQ1 多様体勾配降下法をランダム初期化で用いることで、多チャネルスパースブラインドデコンボリューションにおいて未知のフィルタを証明可能に回復できるか？
• RQ2 ランダムデータモデル下で、成功した回復に必要な最小観測数は何か？
• RQ3 非凸性があるにもかかわらず、球面上の滑らかな代替損失関数は、なぜ真の解への収束を保証できるのか？
• RQ4 MGDの収束速度およびロバストネスに関する理論的保証は何か？

主な発見

• 観測数$p$が十分に大きい場合、MGDは初期化をランダムに選んでも、スケーリングおよびシフトの不確かさを除き、高確率でフィルタを証明可能に回復する。
• ランダムデータモデル下で、$p = O(n \log n)$の観測数で回復が達成され、情報理論的限界に対数要因を除き一致する。
• 理論的分析により、経験的損失関数が真の解の周囲で局所的強い凸性を示すことが判明し、高速収束が可能である。
• 数値実験では、合成データおよび画像のデブラーイングタスクにおいて、MGDが既存手法を上回る収束速度と回復精度を示した。
• 双曲正割関数による滑らかな代替損失関数により、正確なスパarsity制約の強制を必要とせず、効率的かつ安定した最適化が可能となった。