[논문 리뷰] Solving Bilinear Inverse Problems using Deep Generative Priors.

Muhammad Asim, Fahad Shamshad외 1명|arXiv (Cornell University)|2018. 02. 12.

Sparse and Compressive Sensing Techniques인용 수 19

한 줄 요약

이 논문은 이항역문제(BIPs)를 해결하기 위한 딥 생성 사전 프레임워크를 제안한다. 여기서 목표는 측정값 y = A(w,x)로부터 두 개의 미지수 w와 x를 복원하는 것이다. w와 x를 저차원 잠재 코드로 매개변수화된 딥 생성 모델의 출력으로 모델링함으로써, 탐색 공간을 줄이고 효과적인 교대 최적화를 가능하게 하여 실재 데이터셋에서 블라인드 이미지 디블러링 문제에서 최신 기술 수준의 성능을 달성한다. 이는 노이즈가 존재하는 상황에서도 성능을 유지한다.

ABSTRACT

This paper proposes a new framework to handle the bilinear inverse problems (BIPs): recover $\boldsymbol{w}$, and $\boldsymbol{x}$ from the measurements of the form $\boldsymbol{y} = \mathcal{A}(\boldsymbol{w},\boldsymbol{x})$, where $\mathcal{A}$ is a bilinear operator. The recovery problem of the unknowns $\boldsymbol{w}$, and $\boldsymbol{x}$ can be formulated as a non-convex program. A general strategy is proposed to turn the ill-posed BIP to a relatively well-conditioned BIP by imposing a structural assumption that $\boldsymbol{w}$, and $\boldsymbol{x}$ are members of some classes $\mathcal{W}$, and $\mathcal{X}$, respectively, that are parameterized by unknown latent low-dimensional features. We learn functions mapping from the hidden feature space to the ambient space for each class using generative models. The resulting reduced search space of the solution enables a simple alternating gradient descent scheme to yield promising result in solving the non-convex BIP. To demonstrate the performance of our algorithm, we choose an important BIP; namely, blind image deblurring as a motivating application. We show through extensive experiments that this technique shows promising results in deblurring images of real datasets and is also robust to noise perturbations.

연구 동기 및 목표

• 이항역문제(BIPs)의 불안정성 문제를 다루기 위해, w와 x가 모두 미지이며 오직 이들의 이항 측정값 y = A(w,x)만 관측되는 상황을 고려한다.
• w와 x가 저차원 다양체를 매개변수화하는 잠재 특징에 속해 있음을 이용하여 구조적 사전 지식을 통해 해의 안정성과 정확도를 향상시킨다.
• w와 x의 환경 공간으로의 사전 학습된 생성 모델을 통해 잠재 코드를 매핑하는 방식으로 확장 가능한 효과적인 최적화 전략을 개발한다.
• 특히 실세계 이미지 데이터에서 중요한 BIP인 블라인드 이미지 디블러링 문제에 대해 제안된 방법의 효과성을 입증한다.

제안 방법

• w와 x를 각각 잠재 코드 z_w와 z_x로 매개변수화된 딥 생성 모델 G_w(·)와 G_x(·)의 출력으로 모델링하여 저차원 구조적 사전 지식을 강제한다.
• 측정값 일致성 항 ∥y − A(G_w(z_w), G_x(z_x))∥²을 최소화하는 비볼록 최적화 문제로 BIP 복원을 공식화한다.
• 한 번에 하나의 잠재 코드만 갱신하고 다른 하나는 고정하는 방식으로 교대 기울기 하강법을 사용하여 z_w와 z_x를 동시에 최적화한다.
• variational autoencoder 또는 유사한 프레임워크를 사용하여 생성 모델 G_w와 G_x를 학습함으로써 w와 x의 본질적 구조를 잘 포착하도록 보장한다.
• 블러 커널과 청소화된 이미지를 잠재 공간에서 생성된 것으로 모델링하여 블라인드 이미지 디블러링에 프레임워크를 적용한다.
• 측정값에 노이즈가 존재하는 상황에서도 성능을 평가하고 안정적인 복원 결과를 보여줌으로써 노이즈에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 고차원의 미지수로 인해 기존에 불안정한 이항역문제에 대해 딥 생성 사전가 효과적으로 정규화할 수 있는가?
• RQ2 학습된 생성 모델의 출력으로 w와 x를 모델링할 경우, BIP 해법의 조건수와 수렴성은 어떻게 향상되는가?
• RQ3 실세계 데이터셋에서 기존 방법에 비해 제안된 방법이 블라인드 이미지 디블러링 문제에서 얼마나 뛰어난 성능을 보이는가?
• RQ4 실제 영상 응용 분야에서 측정값의 노이즈에 대해 이 방법은 얼마나 강건한가?

주요 결과

• 제안된 방법은 실 이미지 데이터셋에서 블라인드 이미지 디블러링 문제에서 딥 생성 사전를 활용하여 최신 기술 수준의 성능을 달성한다.
• 잠재 공간 최적화를 사용함으로써 고차원 w와 x에 직접 최적화하는 것보다 해의 안정성과 수렴성 면에서 뚜렷한 향상을 보였다.
• 노이즈에 대한 강건성이 입증되었으며, 측정값에 심각한 편향이 존재하는 상황에서도 높은 품질의 디블러링 결과를 유지한다.
• 광범위한 실험을 통해 잠재 코드에 대한 교대 기울기 하강법이 고품질의 해로 효율적으로 수렴하는 것으로 확인되었다.
• w와 x가 생성 모델로 매개변수화된 저차원 다양체 위에 존재한다는 구조적 가정이 제한된 측정값으로부터 효과적인 복원을 가능하게 한다.
• 이 프레임워크는 블라인드 디블러링을 넘어서 다른 영상 및 신호 처리 분야의 이항역문제에 대해서도 잘 일반화됨을 시사한다.