[논문 리뷰] Intermediate Layer Optimization for Inverse Problems using Deep Generative Models

Giannis Daras, Joseph Dean외 2명|arXiv (Cornell University)|2021. 02. 15.

Sparse and Compressive Sensing Techniques참고 문헌 59인용 수 26

한 줄 요약

ILO는 중간 생성기 층을 점진적으로 최적화하여 심층 생성 사전 정보를 활용한 역문제를 해결하고, 최첨단 방법들보다 재구성 품질을 향상시킵니다. 이 방법은 이론적 오차 한계를 제공하고 인페인팅, 노이즈 제거, 초해상도, 그리고 압축 센싱에서 광범위한 실험적 이점을 보여줍니다.

ABSTRACT

We propose Intermediate Layer Optimization (ILO), a novel optimization algorithm for solving inverse problems with deep generative models. Instead of optimizing only over the initial latent code, we progressively change the input layer obtaining successively more expressive generators. To explore the higher dimensional spaces, our method searches for latent codes that lie within a small $l_1$ ball around the manifold induced by the previous layer. Our theoretical analysis shows that by keeping the radius of the ball relatively small, we can improve the established error bound for compressed sensing with deep generative models. We empirically show that our approach outperforms state-of-the-art methods introduced in StyleGAN-2 and PULSE for a wide range of inverse problems including inpainting, denoising, super-resolution and compressed sensing.

연구 동기 및 목표

• 사전으로서 미리 학습된 심층 생성기를 사용해 역문제를 해결하는 동기를 제시한다.
• 표현력 향상을 위해 중간 계층을 점진적으로 최적화하여 기존의 생성기 역변환을 확장한다.
• 제약된 잠재 공간 탐색 하에서 개선된 오차 한계를 보여주는 이론적 보장을 제공한다.
• 인페인팅, 노이즈 제거, 초해상도, CS(압축 센싱) 등 다양한 작업에서 ILO가 기준 도구들보다 실험적으로 우수함을 입증한다.
• 재현성과 향후 연구를 촉진하기 위해 오픈 소스 코드를 제공한다.

제안 방법

• 사전 학습된 생성기 G를 G = G2 ∘ G1로 분해하고, G1의 입력에서 잠재 코드를 최적화한 다음 점진적으로 G2의 입력에서 최적화한다.
• 각 라운드에서 이전 층에 의해 유도된 다양체 주변의 l1-볼 안에서 잠재 코드를 탐색하여 현실감을 제어한다.
• ||G1(z^k) − z̃^p||를 최소화하는 잠재 자-마인딩 스텝을 해결하고, 생성기 범위에 다시 투영하여 생성기 범위로의 투영을 수행한다.
• 미분 가능한 순전도 연산자를 사용한 그래디언트 기반 최적화를 적용하고, 맞춤형 l1-볼 투영으로 PGD를 적용한다.
• 이론적 분석은 작은 l1-볼을 통해 범위를 확장할 때 회복 보장이 개선된 샘플 복잡도 상한를 산출한다(확장된 범위).
• StyleGAN-2의 구체사항을 z에서 w로의 매핑 네트워크를 사용하고, 여러 중간 층을 규제화 및 손실 함수(MSE, LPIPS 또는 이들의 조합) 선택과 함께 탐색하는 방식으로 적용한다.

실험 결과

연구 질문

• RQ1 일부 생성기 층의 점진적 최적화가 광범위한 역문제에서 역변환 품질을 향상시킬 수 있는가?
• RQ2 이전 층 주변의 작은 l1-볼로 잠재 코드 탐색을 제한하는 것이 샘플 복잡도와 재구성 오차에 어떤 영향을 미치는가?
• RQ3 중간 층 최적화가 시각 초해상도 외에도 인페인팅, 노이즈 제거, 딥 priors를 이용한 압축 센싱과 같은 작업에 적용 가능성을 확장하는가?
• RQ4 고해상도 이미지에 대해 StyleGAN-2와 결합할 때 practical considerations와 손실 함수는 무엇인가?
• RQ5 분류기와 같은 differentiable forward 연산자로 생성을 유도하여 현실감을 유지하면서도 목표 이미지나 out-of-distribution 이미지를 생성할 수 있는가?

주요 결과

• ILO는 인페인팅, 노이즈 제거, 초해상도, 압축 센싱 실험에서 CSGM 및 PULSE를 기반으로 한 최첨단 방법들을 일관되게 능가한다.
• 이전 층의 다양체를 둘러싼 작은 l1-볼로 탐색을 제한하면 충분한 측정하에서 오차 한계가 개선된다는 이론적 결과가 있다.
• CelebA-HQ에서의 실험은 인페인팅에서 관찰된 픽셀의 5–100%에서 기준치 대비 재구성 성능이 2배 향상됨을 나타낸다.
• 노이즈 제거에서 더 높은 PSNR/품질을 달성하고, 초해상도에서 다양한 다운샘플링 인자에 대해 PULSE 및 CSGM 기반 변형보다 우수한 재구성을 보인다.
• 이 접근법은 구조적 측정(부분 순환 행렬)으로 고해상도 이미지 재구성을 가능하게 하고, 적대적 견고한 분류기 가이드 생성도 지원한다.
• 재현성과 추가 연구를 촉진하기 위해 코드가 오픈 소스로 제공된다.