[論文レビュー] Inverting Deep Generative models, One layer at a time

Qi Lei, Ajil Jalal+2 more|arXiv (Cornell University)|Jun 18, 2019

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 5

ひとこと要約

本稿では、ReLU活性化関数を備えた深層生成モデルを逆方向に解くための新規な段階的線形計画法を提案する。定数倍の拡張とランダムな重みを仮定した下で、多項式時間内に正確な潜在コードの回復が可能である。多層構造の逆方向処理がNP困難であることを証明し、ノイズのある観測値に対しても理論的誤差境界を確立。高次元設定では勾配降下法を上回る性能を示す。

ABSTRACT

We study the problem of inverting a deep generative model with ReLU activations. Inversion corresponds to finding a latent code vector that explains observed measurements as much as possible. In most prior works this is performed by attempting to solve a non-convex optimization problem involving the generator. In this paper we obtain several novel theoretical results for the inversion problem. We show that for the realizable case, single layer inversion can be performed exactly in polynomial time, by solving a linear program. Further, we show that for multiple layers, inversion is NP-hard and the pre-image set can be non-convex. For generative models of arbitrary depth, we show that exact recovery is possible in polynomial time with high probability, if the layers are expanding and the weights are randomly selected. Very recent work analyzed the same problem for gradient descent inversion. Their analysis requires significantly higher expansion (logarithmic in the latent dimension) while our proposed algorithm can provably reconstruct even with constant factor expansion. We also provide provable error bounds for different norms for reconstructing noisy observations. Our empirical validation demonstrates that we obtain better reconstructions when the latent dimension is large.

研究の動機と目的

• ReLU活性化関数を有する深層生成モデルの逆方向処理の課題に取り組み、観測された測定値を説明する潜在コードを同定すること。
• 勾配ベースの最適化に起因する限界、すなわち収束不能や局所最適解に陥る問題を克服すること。
• ネットワークの拡張とランダムな重みといった現実的条件下で、正確および近似逆方向処理に対する理論的保証を提供すること。
• 特に潜在次元が大きい場合に、勾配降下法を上回る実験的性能を示すこと。

提案手法

• ReLUネットワークの区分線形構造を活用し、段階ごとに線形計画法を用いて逆方向処理を実行する。
• 単層ネットワークの場合、正確な逆方向処理は線形計画問題に再定式化され、多項式時間で解ける。
• より深いネットワークの場合、十分な拡張とランダムな重みを仮定し、反復的な線形計画法で各層を再構築する。
• 誤差境界にはℓ₁およびℓ∞ノルムを用い、ℓ₂ノルムに比べてより厳密な制御を実現する。
• ランダムな重み行列と定数倍の拡張要因の下で、理論的回復保証を確立する。
• MNISTおよび合成データを用いて、勾配降下法と比較した実験的検証を行い、再構成精度と成功確率を測定する。

実験結果

リサーチクエスチョン

• RQ1 ReLU活性化関数を有する単一層の深層生成モデルについて、正確な逆方向処理が多項式時間で達成可能か？
• RQ2 多層構造の逆方向処理はNP困難であるか？ また、潜在空間における前像集合は非凸になり得るか？
• RQ3 定数倍の拡張とランダムな重みを有する任意の深さのネットワークにおいて、正確な回復がどのような条件下で保証されるか？
• RQ4 ノイズのある観測値に対する誤差境界は、ℓ₁およびℓ∞ノルムの選択にどのように依存するか？
• RQ5 本手法は高次元潜在空間において勾配降下法を上回る性能を示せるか？

主な発見

• ReLU活性化関数を有する単一層の逆方向処理は、線形計画問題の解法に等しく、多項式時間で実行可能である。
• 多層構造の逆方向処理はNP困難であり、潜在空間における前像集合は非凸になり得る。
• 定数倍の拡張とランダムな重みを有する任意の深さのネットワークにおいて、高確率で多項式時間内に正確な回復が可能である。
• 本手法は層ごとに定数倍の拡張のみを要するが、従来の勾配降下法を用いた手法は潜在次元に対して対数的拡張を要する。
• 実験的に、本手法は入力次元k=109まで100%の成功率を達成するが、勾配降下法はk≥60で失敗する。
• MNIST実験では、ℓ∞ノルムを用いた線形計画法により、特にノイズやマスキング条件下でも勾配降下法よりも真値に近い再構成が得られる。