[論文レビュー] Fast and Provable ADMM for Learning with Generative Priors

Fabian Latorre Gómez, Armin Eftekhari+1 more|arXiv (Cornell University)|Jul 7, 2019

Sparse and Compressive Sensing Techniques参考文献 60被引用数 20

ひとこと要約

本稿では、GAN生成器によって定義される非凸な生成的事前分布を用いた凸目的関数の最適化のための、高速かつ証明可能に収束する線形化ADMMアルゴリズムを提案する。この手法は生成器ネットワークの幾何的性質を活用することで収束を加速し、非滑らか目的関数に対しても効率的に対処でき、ノイズ除去や圧縮センシングのタスクにおいて勾配降下法を上回り、理論的保証を伴う。

ABSTRACT

In this work, we propose a (linearized) Alternating Direction Method-of-Multipliers (ADMM) algorithm for minimizing a convex function subject to a nonconvex constraint. We focus on the special case where such constraint arises from the specification that a variable should lie in the range of a neural network. This is motivated by recent successful applications of Generative Adversarial Networks (GANs) in tasks like compressive sensing, denoising and robustness against adversarial examples. The derived rates for our algorithm are characterized in terms of certain geometric properties of the generator network, which we show hold for feedforward architectures, under mild assumptions. Unlike gradient descent (GD), it can efficiently handle non-smooth objectives as well as exploit efficient partial minimization procedures, thus being faster in many practical scenarios.

研究の動機と目的

• GANからの非凸的生成的事前分布を用いた最適化における、証明可能に収束する効率的アルゴリズムの欠如を解消すること。
• ℓ₁やℓ∞ノルムノイズ除去のような非滑らか目的関数を扱う際の勾配降下法の限界を克服すること。
• 深層ニューラルネットワークによる制約付き非凸問題に線形化ADMMフレームワークを適用した場合の収束保証を提供すること。
• 高速収束率を保証する生成器ネットワークの幾何的条件を確立すること。
• 経験的リスク最小化とラデマッハ複雑度バウンドを含む統計的学習設定へ理論的結果を拡張すること。

提案手法

• Gが微分可能である生成器ネットワークであると仮定し、F(w,z)の凸関数を最小化する最適化問題をw = G(z)の制約のもとで定式化する。
• 非凸制約w = G(z)を扱うために線形化ADMMフレームワークを適用し、wとzの間で効率的な交互最小化を可能にする。
• 非滑らか正則化子RとHに対して近似射影写像を用い、計算の実行可能性を保証する。
• Lの強い凸性のもとで、Gの幾何的性質（近似的等長性や滑らかさなど）に基づく収束レートを導出する。
• 増強ラグランジュアンの閉形式解を用いてwに関する正確な最小化を実現し、必要に応じてSVDによる行列逆行列計算を活用する。
• 双対変数の更新と適応的ステップサイズを組み合わせたプライマル・デュアル更新スキームを導入し、安定性と収束性を保証する。

実験結果

リサーチクエスチョン

• RQ1 線形化ADMMアルゴリズムは、生成的事前分布を用いた非凸最適化において、証明可能に高速な収束を達成できるか？
• RQ2 生成器ネットワークGのどのような幾何的性質が、このフレームワークにおける収束性と高速レートを保証するか？
• RQ3 提案手法のADMMは、ℓ₁およびℓ∞ノルムのような非滑らか目的関数を扱う勾配降下法と比べてどのように異なるか？
• RQ4 アルゴリズムは経験的リスクを含む統計的学習設定へ拡張可能か？また、一般化誤差バウンドはどのように導出できるか？
• RQ5 本稿で提案するADMMとBoraら（2017）の既存手法との関係は何か？

主な発見

• 提案手法の線形化ADMMは、近似的等長性や滑らかさといった緩い幾何的仮定のもとで、高速な収束レートを達成する。
• アルゴリズムは、勾配降下法と同等の収束速度を証明可能に達成するが、非滑らか目的関数において優れた性能を示す。
• 圧縮センシングおよびノイズ除去タスクにおいて、特にℓ₁およびℓ∞ノルムの非滑らか性を効果的に処理できるため、標準的な勾配降下法を上回る。
• Lの強い凸性のもとで収束性が確立され、より広範な統計的学習応用のための制限付き強い凸性への拡張も行われた。
• ラデマッハ複雑度を用いて一般化誤差バウンドを導出し、生成的事前分布を用いた学習に必要な訓練サンプル数を定量的に評価した。
• 閉形式解によるwに関する正確な最小化と、深層ネットワークにおける効率的な順方向/逆方向伝搬により、計算効率が達成された。