[논문 리뷰] Inverting Deep Generative models, One layer at a time

Qi Lei, Ajil Jalal외 2명|arXiv (Cornell University)|2019. 06. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 5

한 줄 요약

이 논문은 ReLU 활성화를 갖는 깊이 있는 생성 모델을 역으로 풀기 위한 새로운 계층별 선형 프로그래밍 방법을 제안한다. 이 방법은 일정한 확장과 무작위 가중치 조건 하에서 다항식 시간 내에 정확한 잠재 코드 복원을 가능하게 하며, 다중 계층 역전파의 NP-난이도를 증명하고 노이즈가 있는 관측치에 대한 증명 가능한 오차 한계를 설정한다. 고차원 설정에서 기울기 하강법보다 뛰어난 성능을 보인다.

ABSTRACT

We study the problem of inverting a deep generative model with ReLU activations. Inversion corresponds to finding a latent code vector that explains observed measurements as much as possible. In most prior works this is performed by attempting to solve a non-convex optimization problem involving the generator. In this paper we obtain several novel theoretical results for the inversion problem. We show that for the realizable case, single layer inversion can be performed exactly in polynomial time, by solving a linear program. Further, we show that for multiple layers, inversion is NP-hard and the pre-image set can be non-convex. For generative models of arbitrary depth, we show that exact recovery is possible in polynomial time with high probability, if the layers are expanding and the weights are randomly selected. Very recent work analyzed the same problem for gradient descent inversion. Their analysis requires significantly higher expansion (logarithmic in the latent dimension) while our proposed algorithm can provably reconstruct even with constant factor expansion. We also provide provable error bounds for different norms for reconstructing noisy observations. Our empirical validation demonstrates that we obtain better reconstructions when the latent dimension is large.

연구 동기 및 목표

• 관측된 측정치를 설명하는 잠재 코드를 찾는 방식으로, ReLU 활성화를 갖는 깊이 있는 생성 모델을 역으로 풀는 데 도전한다.
• 수렴하지 않거나 국소 최솟값에 갇힐 수 있는 기울기 기반 최적화의 한계를 극복한다.
• 네트워크 확장과 무작위 가중치와 같은 현실적인 조건 하에서 정확한 및 근사적 역전파에 대한 이론적 보장을 제공한다.
• 특히 잠재 차원이 클 경우 기울기 하강법보다 향상된 경험적 성능을 보여준다.

제안 방법

• ReLU 네트워크의 조각별 선형 구조를 활용하여 계층별로 선형 프로그래밍을 통해 역전파를 수행한다.
• 단일 계층 네트워크의 경우 정확한 역전파를 선형 프로그래밍 문제로 재정의하여 다항식 시간 내에 해결할 수 있다.
• 더 깊은 네트워크의 경우 충분한 확장과 무작위 가중치를 가정하여 반복적 선형 프로그래밍을 통해 각 계층을 재구성한다.
• 오차 한계를 위해 ℓ₁ 및 ℓ∞ 노름을 사용하여 ℓ₂ 노름보다 더 엄격한 제어를 제공한다.
• 무작위 가중치 행렬과 일정한 확장 인자 조건 하에서 이론적 복원 보장을 수립한다.
• MNIST 및 합성 데이터를 사용하여 경험적 검증을 수행하며, 재구성 정확도와 성공률을 기울기 하강법과 비교한다.

실험 결과

연구 질문

• RQ1 단일 계층에서 ReLU 활성화를 갖는 깊이 있는 생성 모델의 정확한 역전파를 다항식 시간 내에 달성할 수 있는가?
• RQ2 다중 계층 역전파의 NP-난이도는 어떻게 되며, 잠재 공간 내의 전이 집합은 비볼록일 수 있는가?
• RQ3 무작위 가중치와 일정한 확장 조건 하에서 임의의 깊이의 네트워크에서 정확한 복원이 보장되는 조건은 무엇인가?
• RQ4 노이즈가 있는 관측치에 대한 오차 한계는 ℓ₁ 및 ℓ∞ 노름의 선택에 따라 어떻게 달라지는가?
• RQ5 고차원 잠재 공간에서 제안된 방법이 기울기 하강법을 능가할 수 있는가?

주요 결과

• ReLU 활성화를 갖는 단일 계층 역전파 문제는 선형 프로그래밍 문제와 동치이며, 다항식 시간 내에 해결 가능하다.
• 다중 계층 역전파 문제의 NP-난이도가 증명되었으며, 잠재 공간 내의 전이 집합은 비볼록일 수 있다.
• 일정한 인자로 확장되고 무작위 가중치를 갖는 임의의 깊이의 네트워크에서, 높은 확률로 다항식 시간 내에 정확한 복원이 가능하다.
• 제안된 방법은 각 계층에 대해 일정한 확장만 요구하지만, 이전의 기울기 하강법 기반 접근법은 잠재 차원에 대해 로그적 확장을 요구한다.
• 경험적으로, 이 방법은 입력 차원 k=109까지 100% 성공률를 기록했고, 기울기 하강법은 k≥60에서 실패함을 확인했다.
• MNIST 실험에서 ℓ∞-노름 선형 프로그래밍 방법은 기울기 하강법보다 노이즈와 마스킹 상황에서도 진짜 값에 더 가까운 재구성을 생성했다.