[論文レビュー] Global Guarantees for Blind Demodulation with Generative Priors

Paul Hand, Babhru Joshi|arXiv (Cornell University)|Jan 1, 2019

Sparse and Compressive Sensing Techniques被引用数 9

ひとこと要約

本稿では、生成的事前分布を用いた深層学習ベースの盲目的変復調手法を提案し、未知の信号が拡張的生成モデルの範囲にある場合、経験的リスク目的関数が4本の双曲線に限定された臨界点を有する望ましい最適化の形状を持つことを示している。勾配降下法がこれらの曲線の特異な構造を活用することで、グローバル最小値に収束できることを示し、MNIST画像からの合成歪みを効果的に除去できた。

ABSTRACT

We study a deep learning inspired formulation for the blind demodulation problem, which is the task of recovering two unknown vectors from their entrywise multiplication. We consider the case where the unknown vectors are in the range of known deep generative models, $\mathcal{G}^{(1)}:\mathbb{R}^n ightarrow\mathbb{R}^\ell$ and $\mathcal{G}^{(2)}:\mathbb{R}^p ightarrow\mathbb{R}^\ell$. In the case when the networks corresponding to the generative models are expansive, the weight matrices are random and the dimension of the unknown vectors satisfy $\ell = \Omega(n^2+p^2)$, up to log factors, we show that the empirical risk objective has a favorable landscape for optimization. That is, the objective function has a descent direction at every point outside of a small neighborhood around four hyperbolic curves. We also characterize the local maximizers of the empirical risk objective and, hence, show that there does not exist any other stationary points outside of these neighborhood around four hyperbolic curves and the set of local maximizers. We also implement a gradient descent scheme inspired by the geometry of the landscape of the objective function. In order to converge to a global minimizer, this gradient descent scheme exploits the fact that exactly one of the hyperbolic curve corresponds to the global minimizer, and thus points near this hyperbolic curve have a lower objective value than points close to the other spurious hyperbolic curves. We show that this gradient descent scheme can effectively remove distortions synthetically introduced to the MNIST dataset.

研究の動機と目的

• 2つの未知のベクトルをその要素ごとの積から回復する盲的な変復調問題を、深層生成的事前分布を用いて解決すること。
• 生成モデルの制約下での経験的リスク目的関数の最適化の形状を分析すること。
• 目的関数が4本の双曲線の周辺を除き、偽の局所最小値を有さないような条件を確立すること。
• 真の解と偽の臨界点を区別できる勾配降下法のスキームを構築し、グローバル最小値に収束させること。
• MNISTデータセットにおける合成歪みに対して、提案手法の有効性を検証すること。

提案手法

• 2つの深層生成モデル G^(1): R^n → R^ℓ および G^(2): R^p → R^ℓ の潜在変数上の最適化問題として盲的な変復調を定式化する。
• ランダムな重み行列を有する拡張的ネットワークを仮定し、ℓ = Ω(n² + p²)（対数要因を除いて）を満たすことで、望ましい形状の性質を保証する。
• 経験的リスク目的関数を分析し、4本の双曲線の近傍の小さな近傍を除くすべての点で降下方向が存在することを証明する。
• 目的関数の局所的最大値を同定し、それらが4本の双曲線に加え、唯一の他の定常点であることを示す。
• 4本の双曲線のうち、唯一の1本がグローバル最小値に対応することを利用し、勾配降下法のスキームを提案する。
• 各双曲線の近傍における目的関数値の差を用いて、真の解への収束を誘導する。

実験結果

リサーチクエスチョン

• RQ1 生成モデルおよび信号次元にどのような条件下で、経験的リスク目的関数が望ましい最適化の形状を有するか？
• RQ2 生成的事前分布を用いた盲的な変復調設定における、経験的リスク目的関数の臨界点の構造は何か？
• RQ3 偽の臨界点が存在する中で、勾配降下法がグローバル最小値に収束できるか？
• RQ4 目的関数の形状の幾何的構造をどのように活用して、真の解と偽の解を区別できるか？
• RQ5 提案手法は、MNISTのような実世界のデータにおける合成歪みを効果的に除去できるか？

主な発見

• 4本の双曲線の近傍の小さな近傍を除くすべての点で、経験的リスク目的関数が降下方向を持つため、それ以外の場所には偽の局所最小値が存在しないことが保証される。
• 目的関数の唯一の定常点は、4本の双曲線の近傍と、明示的に特徴付けられた局所最大値の集合である。
• 4本の双曲線のうち、正確に1本がグローバル最小値に対応しており、目的関数値の差を活用することで、勾配降下法が真の解に収束できる。
• 提案された勾配降下法のスキームは、MNISTデータセットにおける合成歪みを効果的に除去でき、実用的有効性を示した。
• 生成モデルが拡張的であり、重みがランダムで、信号次元ℓがℓ = Ω(n² + p²)（対数要因を除いて）を満たす場合、望ましい最適化の形状が保証される。