[論文レビュー] Regularized Gradient Descent: A Nonconvex Recipe for Fast Joint Blind Deconvolution and Demixing

Shuyang Ling, Thomas Strohmer|arXiv (Cornell University)|Mar 25, 2017

Sparse and Compressive Sensing Techniques参考文献 39被引用数 9

ひとこと要約

本稿では、重ね合わせられた畳み込みから複数の信号ペアを高速かつ保証可能な回復のために、非凸な正則化勾配降下法を提案する。ノイズに強く、グローバル最小値への線形収束を達成する。凸法の代替手段として計算効率が高く、競争的な条件下でも強固な理論的保証を維持する。

ABSTRACT

We study the question of extracting a sequence of functions $\{\boldsymbol{f}_i, \boldsymbol{g}_i\}_{i=1}^s$ from observing only the sum of their convolutions, i.e., from $\boldsymbol{y} = \sum_{i=1}^s \boldsymbol{f}_i\ast \boldsymbol{g}_i$. While convex optimization techniques are able to solve this joint blind deconvolution-demixing problem provably and robustly under certain conditions, for medium-size or large-size problems we need computationally faster methods without sacrificing the benefits of mathematical rigor that come with convex methods. In this paper, we present a non-convex algorithm which guarantees exact recovery under conditions that are competitive with convex optimization methods, with the additional advantage of being computationally much more efficient. Our two-step algorithm converges to the global minimum linearly and is also robust in the presence of additive noise. While the derived performance bounds are suboptimal in terms of the information-theoretic limit, numerical simulations show remarkable performance even if the number of measurements is close to the number of degrees of freedom. We discuss an application of the proposed framework in wireless communications in connection with the Internet-of-Things.

研究の動機と目的

• 観測可能なのは畳み込み信号の重ね合わせのみである、マルチユーザー無線通信システムにおける同時盲目的デコンボリューションと混合除去の課題に対処すること。
• 中〜大規模な問題に対して、凸最適化の代替手段として計算効率の高い手法を開発し、理論的保証を維持すること。
• 最小限の測定数から、複数の信号-チャネルペアを正確に回復できることを可能にすること。特に、測定数が情報理論的限界に近い場合でも有効であること。
• 加法的ノイズに対して耐性があり、インテอรnet・オブ・シングズ（IoT）のような実世界のシナリオへの適用可能性を確保すること。

提案手法

• 畳み込み信号ペアを表す低ランク行列構造に基づく非凸最適化問題として、同時盲目的デコンボリューション-混合除去問題を定式化する。
• フィルタと信号成分の推定値を交互に更新する2段階のアルゴリズムを提案し、正則化勾配降下法を用いる。
• 最適化の安定化と有利な条件下での正確な回復を促進するために正則化項を導入する。
• 問題の非凸構造を扱うために、複素数勾配降下法と、複素数ヘッシアンおよび複素共役勾配更新を活用する。
• 濃縮不等式と行列ノルムの境界を用いて、確率的測定モデル下での理論的収束性と安定性を確立する。
• 勾配降下の補題と行列濃縮道具（例：ψ₁-ノルムおよび分散パラメータの境界）を用い、誤差伝播を制御し、線形収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 非凸最適化手法は、保証付きの理論的保証と計算効率を備えて、同時盲目的デコンボリューション-混合除去で正確な回復を達成できるか？
• RQ2 測定数の複雑さとノイズ耐性の観点から、提案手法の非凸法は凸法と比較してどのように性能を発揮するか？
• RQ3 測定数と信号構造にどのような条件が課されると、線形収束とグローバル回復が保証されるか？
• RQ4 情報理論的限界に近い最小測定数に近い状況でも、この手法がどれほど耐性を示せるか？
• RQ5 インテอรnet・オブ・シングズ（IoT）を活用したマルチユーザー無線通信のような実用的応用において、アルゴリズムはどのように性能を発揮するか？

主な発見

• 提案された正則化勾配降下法は、凸法と同等の条件下でグローバル最小値への線形収束を達成する。
• 測定数が自由度に対して十分に大きい場合、加法的ノイズが存在しても正確な回復が保証される。
• 数値シミュレーションにより、測定数が自由度に近い場合でも強力な経験的性能が示され、近似的に最適な測定効率を示している。
• ノイズに対して耐性があり、誤差伝播の理論的境界が行列濃縮および勾配降下補題の手法により導出された。
• 計算速度において凸アプローチを上回りながら、厳密な理論的回復保証を維持している。
• 理論的解析により、初期値と信号構造に対する緩い仮定の下でグローバル収束が確認され、誤差境界は信号対ノイズ比および問題次元に比例してスケーリングされる。