[논문 리뷰] An Unsupervised Approach to Solving Inverse Problems using Generative Adversarial Networks

Rushil Anirudh, Jayaraman J. Thiagarajan외 2명|arXiv (Cornell University)|2018. 05. 18.

Ultrasonics and Acoustic Wave Propagation인용 수 20

한 줄 요약

이 논문은 측정 과정에 대한 지식이 없이도 완전히 부족하거나 손상된 관측치로부터 신호를 망각 없이 복원할 수 있도록 사전 훈련된 GAN을 사전 확률로 사용하는 비지도 학습 방법을 제안한다. 반복적으로 잠재 코드와 전방 모델을 근사하는 얕은 신경망을 최적화함으로써, 이 방법은 블러 복원, 에지-이미지 복원, 그리고 맹검 소스 분리와 같은 과제에서 최신 기술 수준의 성능을 달성한다. 특히 과도하게 부족한 상황에서도 성능이 뛰어나다.

ABSTRACT

Solving inverse problems continues to be a challenge in a wide array of applications ranging from deblurring, image inpainting, source separation etc. Most existing techniques solve such inverse problems by either explicitly or implicitly finding the inverse of the model. The former class of techniques require explicit knowledge of the measurement process which can be unrealistic, and rely on strong analytical regularizers to constrain the solution space, which often do not generalize well. The latter approaches have had remarkable success in part due to deep learning, but require a large collection of source-observation pairs, which can be prohibitively expensive. In this paper, we propose an unsupervised technique to solve inverse problems with generative adversarial networks (GANs). Using a pre-trained GAN in the space of source signals, we show that one can reliably recover solutions to under determined problems in a `blind' fashion, i.e., without knowledge of the measurement process. We solve this by making successive estimates on the model and the solution in an iterative fashion. We show promising results in three challenging applications -- blind source separation, image deblurring, and recovering an image from its edge map, and perform better than several baselines.

연구 동기 및 목표

• 측정 과정이 알려져 있거나 처리하기 어려운 경우에 역문제를 해결하는 데 도전하는 것.
• 감독 학습 기반의 깊은 학습 방법에서 요구하는 대규모 쌍체 데이터셋 (X, Y) 의존도를 제거하는 것.
• 사전 훈련된 GAN만을 사용하여 과도하게 부족한 관측치로부터 맹검 소스 분리 및 복원을 가능하게 하는 것.
• 다양한 역영상 과제에 적용 가능한 일반적인 비지도 프레임워크를 개발하는 것.

제안 방법

• 원천 신호의 사전 분포를 모델링하기 위해 사전 훈련된 GAN을 활용하고, 그 잠재 공간을 제약된 해 공간으로 사용한다.
• 알 수 없는 전방 모델 F 를 얕은 신경망으로 매개변수화하고, 추론 과정에서 잠재 코드와 함께 공동 최적화한다.
• 교대로 최적화 전략을 사용한다: 모델 추정치를 고정하고 잠재 코드를 최적화한 후, 잠재 코드를 고정하고 모델 추정치를 개선한다.
• 손실을 관측 데이터와 GAN에서 생성된 신호에 추정된 전방 모델을 적용한 결과 간의 재구성 오차로 설정한다.
• 반복적으로 적용하여 전방 모델과 원천 신호를 명시적인 F 지식 없이 맹검으로 복원한다.
• 다중 관측치와 비선형 혼합을 다룰 수 있도록 프레임워크를 일반화하여, 맹검 소스 분리와 같은 응용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 GAN이 쌍체 훈련 데이터에 접근할 수 없을 때도 역문제 해결을 위한 강력한 데이터 기반 사전 확률로 기능할 수 있는가?
• RQ2 해석 가능한 오염 과정 지식이 없는 상황에서 공동 최적화된 얕은 신경망이 알려지지 않은 전방 모델을 얼마나 잘 근사할 수 있는가?
• RQ3 제안된 방법이 블러 복원, 에지-이미지 합성, 맹검 소스 분리와 같은 다양한 역문제에 일반화 가능한가?
• RQ4 기존 비지도 기준 대비 과도하게 부족한 설정에서 이 방법이 얼마나 뛰어난 성능을 보이는가?
• RQ5 비선형 전방 모델 또는 관측치 수가 제한된 경우 이 방법의 안정성은 어느 정도인가?

주요 결과

• 제안된 방법은 블러 복원 및 에지-이미지 복원 과제에서 전방 모델 지식을 완전히 갖춘 감독 기반 기준 대비 경쟁 가능한 성능을 달성한다.
• 세 개의 원천 신호에서 유도된 단일 비선형 혼합에서, 이 방법은 매우 현실적인 원천 이미지를 성공적으로 복원하여 ICA 및 단순 덧셈 모델보다 뛰어난 성능을 보였다.
• 세 개의 원천에서 네 개의 비선형 혼합이 있는 과잉 결정된 경우, 이 방법은 정확한 복원을 생성하여 복잡한 혼합 함수에 대해 강건함을 입증했다.
• 특히 다른 방법이 실패하는 과도하게 부족한 상황에서, 이 방법은 기존 비지도 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 이 방법은 과제 간으로 일반화된다: 동일한 프레임워크가 블러 복원, 에지-이미지, 소스 분리에 대해 아키텍처 변경 없이 재사용된다.
• GAN 사전의 사용은 해 공간이 과도하게 부족한 경우에도 고품질이고 의미적으로 의미 있는 복원을 가능하게 한다.