[論文レビュー] Intermediate Layer Optimization for Inverse Problems using Deep\n Generative Models

Giannis Daras, Joseph Dean+2 more|arXiv (Cornell University)|Feb 15, 2021

Sparse and Compressive Sensing Techniques参考文献 59被引用数 26

ひとこと要約

ILO は中間生成層を段階的に最適化して深層生成 priors を用いた逆問題を解決し、最先端手法より再構成品質を向上させます。理論的誤差境界を提供し、インペインティング、ノイズ除去、超解像、圧縮感知の広範な実証で優位を示します。

ABSTRACT

We propose Intermediate Layer Optimization (ILO), a novel optimization\nalgorithm for solving inverse problems with deep generative models. Instead of\noptimizing only over the initial latent code, we progressively change the input\nlayer obtaining successively more expressive generators. To explore the higher\ndimensional spaces, our method searches for latent codes that lie within a\nsmall $l_1$ ball around the manifold induced by the previous layer. Our\ntheoretical analysis shows that by keeping the radius of the ball relatively\nsmall, we can improve the established error bound for compressed sensing with\ndeep generative models. We empirically show that our approach outperforms\nstate-of-the-art methods introduced in StyleGAN-2 and PULSE for a wide range of\ninverse problems including inpainting, denoising, super-resolution and\ncompressed sensing.\n

研究の動機と目的

• 事前学習済みの深層生成器を priors として用いて逆問題を解く動機づけ。
• 表現力を高めるために中間層を段階的に最適化してジェネレータの inversion を拡張。
• 制約付き潜在探索下で改善された誤差境界を示す理論的保証を提供。
• イテムが多様なタスク（インペインティング、ノイズ除去、超解像、CS）において、ILO がベースラインより優れていることを経験的に示す。
• 再現性とさらなる研究を促進するためのオープンソースコード。

提案手法

• 事前学習済みジェネレータ G を G = G2 ∘ G1 に分解し、まず G1 の入力で潜在コードを最適化し、次に段階的に G2 の入力で最適化。
• 各ラウンドで、前のレイヤーによって誘起される多様体の周りの l1-ball 内で潜在コードを探索して現実味を制御。
• 前述のジェネレータ範囲への射影を、||G1(z^k) − z̃^p|| を最小化する潜在マインディング・ステップを解くことで実行し、再射影を行う。
• 微分可能なフォワード演算子を用いた勾配ベースの最適化を使用；カスタム l1-ball 投影を用いた PGD を適用。
• 拡張範囲として小さな l1-ball で探索を拡大するとサンプル複雑度境界が改善されるという理論的解析。
• StyleGAN-2 の特性に合わせて mapping network（z から w への変換）を用い、正則化と損失関数の選択（MSE、LPIPS、またはそれらの組み合わせ）を用いて複数の中間層を探索。

実験結果

リサーチクエスチョン

• RQ1 中間生成層の段階的最適化は、広いクラスの逆問題に対して inversion 品質を改善できるか。
• RQ2 前の層の周りの小さな l1-ball に潜在コード探索を制限すると、サンプル複雑度と再構成誤差はどう変化するか。
• RQ3 中間層の最適化は超解像だけでなく、深層 priors を用いたインペインティング、ノイズ除去、圧縮感知などの適用範囲を拡張するか。
• RQ4 高解像度画像に対して StyleGAN-2 と統合する際の実用的な考慮事項と損失関数は何か。
• RQ5 分類器などの微分可能なフォワード演算子を用いて、現実味を保ちつつターゲット画像や分布外画像の生成を誘導できるか。

主な発見

• ILO は、インペインティング、ノイズ除去、超解像、圧縮感知の実験を通じて、CSGM および PULSE に基づく最先端手法を一貫して上回る。
• 理論的結果は、前のレイヤーの多様体の周りの小さな l1-ball に探索を制限した場合、十分な測定があると誤差境界が改善されることを示す。
• CelebA-HQ における経験的結果は、インペインティングでの5–100% 観測ピクセルで基準法に対して2×の再構成改善を示す。
• ILO は denoising での PSNR/品質を高くし、様々なダウンサンプリング係数に対する超解像の再構成性能も、PULSE および CSGM ベースの変種と比較して優れる。
• このアプローチは、構造化測定（部分循環行列）を用いた高解像度画像再構成を可能にし、敵対的に頑健な分類器誘導生成もサポートする。
• コードは再現性とさらなる研究を促進するためにオープンソース化されている。