[논문 리뷰] When and How Can Deep Generative Models be Inverted?

Aviad Aberdam, Dror Simon외 1명|arXiv (Cornell University)|2020. 06. 28.

Underwater Acoustics Research참고 문헌 27인용 수 7

한 줄 요약

이 논문은 깊이 있는 생성 모델(GANs, VAEs 등)에 대해 이론적으로 근거가 있는 계층별 역행 방법을 제안하며, 희소 표현 이론을 활용해 신호로부터 잠재 벡터를 증명 가능하게 복원한다. 이는 임의의 가중치에 의존하지 않고 일반 조건 하에 유일한 해를 보장하는 Latent-Pursuit 알고리즘을 도입하여, 손상된 입력이 있는 경우조차도 재구성 및 인painting 작업에서 경사 하강법을 능가한다.

ABSTRACT

Deep generative models (e.g. GANs and VAEs) have been developed quite extensively in recent years. Lately, there has been an increased interest in the inversion of such a model, i.e. given a (possibly corrupted) signal, we wish to recover the latent vector that generated it. Building upon sparse representation theory, we define conditions that are applicable to any inversion algorithm (gradient descent, deep encoder, etc.), under which such generative models are invertible with a unique solution. Importantly, the proposed analysis is applicable to any trained model, and does not depend on Gaussian i.i.d. weights. Furthermore, we introduce two layer-wise inversion pursuit algorithms for trained generative networks of arbitrary depth, and accompany these with recovery guarantees. Finally, we validate our theoretical results numerically and show that our method outperforms gradient descent when inverting such generators, both for clean and corrupted signals.

연구 동기 및 목표

• 어떤 깊이 생성 모델이 역행 가능하고 유일한 해를 가지는지를 일반적인 이론적 조건으로 설정하는 것, 이는 역행 알고리즘과 무관하게 적용된다.
• 학습된 완전 연결 생성 네트워크에 대해 이론적으로 정확하고 계층별로 역행하는 알고리즘을 개발하여, 노이즈가 없는 경우와 노이즈가 있는 경우 모두에서 성능이 보장되도록 하는 것.
• 제안된 방법이 깨끗한 신호와 손상된 신호에서 경사 하강법보다 재구성 정확도와 내성에 뛰어나다는 것을 경험적으로 입증하는 것.
• 이전 연구와 달리 i.i.d. 정규 분포 가중치나 생성기의 미끄러운 성질에 대한 가정 없이도 역행에 대한 이론적 보장을 제공하는 것.

제안 방법

• 이 방법은 생성된 신호와 관측된 신호 사이의 L2 거리 최소화 문제로 역행 문제를 설정한다. 즉, $\min_{\mathbf{z}} \frac{1}{2}\|G(\mathbf{z}) - \mathbf{y}\|_2^2$.
• 희소 표현 이론을 활용하여 각 은닉층을 희소 벡터와 가중치 행렬의 곱으로 모델링하고, ReLU 활성화를 거친다.
• 기저 추적 정규화(BPDN)를 사용해 계층별로 역행을 수행하여 희소 표현을 복원하고, 추정치를 개선하기 위해 탈편성 보정 단계를 추가한다.
• 노이즈가 없는 경우와 노이즈가 있는 경우 모두에 대해 복원 보장을 도출하며, 이는 가중치 행렬의 스파크와 희소성 제약 조건에 기반한다.
• 출력층에서부터 잠재 공간으로 향해 반복적으로 적용하여 계층 간 일관성을 확보한다.
• 이 방법은 Latent-Pursuit 알고리즘으로 구현되었으며, $\rho = 10^{-2}$와 10,000회의 반복을 통해 탈편성 보정을 수행하고, 고정된 $\ell_2$-정규화 최적화 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 어떤 일반적인 조건 하에서 깊이 생성 모델이 유일한 해를 가지며, 이는 역행 알고리즘과 무관하게 성립하는가?
• RQ2 노이즈가 없는 경우와 노이즈가 있는 경우 모두에서 잠재 벡터를 이론적으로 보장할 수 있는 계층별 역행 알고리즘을 구성할 수 있는가?
• RQ3 제안된 알고리즘의 성능은 재구성 정확도와 신호 손상에 대한 내성 측면에서 경사 하강법과 비교해 어떻게 되는가?
• RQ4 i.i.d. 정규 분포 가중치나 생성기의 미끄러운 성질에 대한 가정 없이도 역행에 대한 이론적 보장을 확립할 수 있는가?

주요 결과

• Latent-Pursuit 알고리즘은 진짜 지원 집합을 알고 있는 오라클와 거의 동일한 재구성 오차를 달성하며, 경사 하강법보다 뚜렷이 뛰어나다.
• 경사 하강법은 많은 재구성 작업에서 완전히 실패하는 경향이 있으며, 특히 손상된 입력에서 그러한 경향이 두드러지지만, Latent-Pursuit는 높은 정확도를 유지한다.
• 일반적으로, 깨끗한 신호와 마스크된 인painting 실험 모두에서 모든 계층에서 Latent-Pursuit가 경사 하강법보다 낮은 재구성 오차를 기록한다.
• 이 알고리즘은 Nvidia 1080Ti GPU에서 평균적으로 1장의 이미지당 약 75초 내에 수렴하며, 약 略으로 오랜 실행 시간이지만 정확도에서 경사 하강법을 능가한다.
• 45%의 랜덤 또는 반영역 마스크를 적용한 이미지 인painting 실험에서 Latent-Pursuit는 이미지와 은닉 표현을 성공적으로 재구성하지만, 경사 하강법은 자주 실패한다.
• 이 방법은 노이즈와 신호 손상에 대해 뛰어난 내성과 함께, 이론적 분석에 의해 보장된 바와 같이 노이즈가 있는 경우 유한한 추정 오차를 유지한다.