[論文レビュー] The nonsmooth landscape of blind deconvolution

Mateo Díaz|arXiv (Cornell University)|Nov 19, 2019

Sparse and Compressive Sensing Techniques参考文献 41被引用数 4

ひとこと要約

本稿は、盲混合の非凸的で非滑らかな定式化の非滑らかで不自然な地形を分析し、測定回数が増加するにつれて偽の臨界点がコディメンジョン2の部分空間に集中することを示している。著者らは、ガウス測定に関する標準的な統計的仮定の下で、明示的な初期化がなくても、ランダムに初期化された部分勾配法が実際には成功することを、有利な幾何構造のおかげで説明している。

ABSTRACT

The blind deconvolution problem aims to recover a rank-one matrix from a set of rank-one linear measurements. Recently, Charisopulos et al. introduced a nonconvex nonsmooth formulation that can be used, in combination with an initialization procedure, to provably solve this problem under standard statistical assumptions. In practice, however, initialization is unnecessary. As we demonstrate numerically, a randomly initialized subgradient method consistently solves the problem. In pursuit of a better understanding of this phenomenon, we study the random landscape of this formulation. We characterize in closed form the landscape of the population objective and describe the approximate location of the stationary points of the sample objective. In particular, we show that the set of spurious critical points lies close to a codimension two subspace. In doing this, we develop tools for studying the landscape of a broader family of singular value functions, these results may be of independent interest.

研究の動機と目的

• 非凸的かつ非滑らかな性質を持つ問題であるにもかかわらず、なぜランダムに初期化された部分勾配法が盲混合を解くことに一貫して成功するのかを理解すること。
• 高次元におけるサンプル目的関数の停留点の幾何構造を特徴づけること。
• 独立同分布のガウス測定の下で、母集団目的関数の地形がコディメンジョン2の部分空間に収束することを示すこと。
• 非滑らかで非凸な最適化に適用可能な、特異値関数の分析に用いるツールを開発すること。
• 損失関数の地形の幾何的分析を通じて、盲混合における初期化フリーな部分勾配法の経験的成功を説明すること。

提案手法

• 著者らは、未知のランク1行列の特異ベクトルにのみ依存する、測定誤差の絶対値の期待値として定義される母集団目的関数を分析している。
• 母集団目的関数の部分微分の閉形式を導出し、その臨界点を特徴づけている。
• 測定の集中現象を用いて、測定回数が増加するにつれて、サンプル目的関数の部分微分が高確率で母集団部分微分の周囲に集中することを示している。
• 偽の臨界点の集合が制御されたレートでコディメンジョン2の部分空間に収束することを証明しており、これは最適化に有利な幾何構造を有する広範な領域を示唆している。
• 非滑らかさを扱うために、確率的行列理論と特異値関数解析のツールを活用している。
• 弱い鋭さと部分微分の集中に関する結果を組み合わせ、任意の点から真の解集合までの距離を評価している。

実験結果

リサーチクエスチョン

• RQ1 非凸的かつ非滑らかな性質を持つにもかかわらず、なぜランダムに初期化された部分勾配法は盲混合を一貫して解くことができるのか？
• RQ2 高次元におけるサンプル目的関数の停留点の幾何的構造はどのようなものか？
• RQ3 測定回数が増加するにつれて、母集団目的関数の地形とサンプル地形の関係はいかなるものか？
• RQ4 偽の臨界点はどの程度低次元の部分空間に近いか？ そして、これは最適化にどのように影響するか？
• RQ5 特異値関数の分析に用いるツールは、非滑らかで非凸な最適化問題に一般化可能か？

主な発見

• サンプル目的関数の偽の臨界点の集合は、測定回数が増加するにつれてコディメンジョン2の部分空間に収束する。
• この収束は制御されたレートで発生するため、パラメータ空間の大部分が最適化に有利な幾何構造を持つことが示唆される。
• 母集団目的関数の地形は解析的に特徴づけられ、その臨界点がコディメンジョン2の部分空間上にあることが示された。
• 測定回数が次元の和に比例する閾値を超えると、サンプル目的関数の部分微分が高確率で母集団部分微分の周囲に集中する。
• この分析により、初期化フリーな部分勾配法の経験的成功が説明される：有利な幾何構造のおかげで、偽の局所最小値に陥りにくくなる。
• 結果として、非滑らかで非凸な盲混合におけるランダム初期化のロバスト性の理論的基盤が提供された。