[논문 리뷰] Using auto-encoders for solving ill-posed linear inverse problems

Shirin Jalali, Xin Yuan|arXiv (Cornell University)|2019. 01. 15.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 4

한 줄 요약

이 논문은 훈련된 오토인코더(생성 모델)를 사용하여 과소결정 선형 역문제를 해결하는 새로운 압축 측정 복원 방법을 제안한다. 생성 모델 $g$의 잠재 공간에서의 투영 경사 하강 최적화로 복원을 공식화함으로써, $m > 2k$일 경우 정확한 복원을 보장하며, 재구성 오차는 생성 모델의 근사 오차로 제한된다.

ABSTRACT

Compressed sensing algorithms recover a signal from its under-determined linear measurements by exploiting its structure. Starting from sparsity, recovery methods have steadily moved towards more complex structures. Recently, the emerging machine learning techniques, especially the generative models based on neural nets, potentially, can learn general complex structures. Inspired by the success of such models in various computer vision tasks, researchers in compressed sensing have recently started to employ them to design efficient recovery methods. Consider a generative model defined as function $g:{\cal U}^k o{R}^n$, ${\cal U}\subset{R}$. Assume that the function $g$ is trained such that it can describe a class of desired signals ${\cal Q}\subset{R}^n$. The standard problem in noiseless compressed sensing is to recover ${\bf x}\in{\cal Q}$ from under-determined linear measurements ${\bf y}=A{\bf x}$, where ${\bf y}\in{R}^m$ and $m\ll n$. A recovery method based on $g$ finds $g({\bf u})$, $\in{\cal U}^k$, which has the minimum measurement error. In this paper, the performance of such a recovery method is studied and it is proven that, if the number of measurements ($m$) is larger than twice the dimension of the generative model ($k$), then ${\bf x}$ can be recovered from ${\bf y}$, with a distortion that is a function of the distortion induced by $g$ in describing $\bf x$, i.e. $\min_{{\bf u}\in{\cal U}^k}\|g({\bf u})-{\bf x}\|$. To derive an efficient method, an algorithm based on projected gradient descent is proposed. It is proven that, given enough measurements, the algorithm converges to the optimal solution and is robust to measurement noise. Numerical results showing the effectiveness of the proposed method are presented.

연구 동기 및 목표

• 딥 생성 모델을 사용하여 압축 측정에서 과소결정 선형 역문제를 해결하기 위해.
• 낮은 측정 수에서 신호가 정확히 복원될 수 있는 이론적 조건을 설정하기 위해.
• 잠재 공간 복원을 위한 효율적인 최적화 알고리즘을 투영 경사 하강 기반으로 개발하기 위해.
• 측정 노이즈에 대한 방법의 강건성을 입증하기 위해.

제안 방법

• 신호를 저차원 잠재 공간 $\mathcal{U}^k$ 에서 표현하기 위해 훈련된 생성 모델 $g: \mathcal{U}^k \to \mathbb{R}^n$ 을 사용한다.
• 복원은 잠재 코드 $\mathbf{u} \in \mathcal{U}^k$ 에서 측정 오차 $\|A g(\mathbf{u}) - \mathbf{y}\|$ 를 최소화하는 것으로 공식화된다.
• 최적화 문제를 해결하기 위해 반복적인 투영 경사 하강 알고리즘을 제안하며, 각 단계에서 해를 다시 잠재 공간으로 투영한다.
• 측정 수 $m$ 이 잠재 차원 $k$ 의 두 배를 초과할 경우, 알고리즘이 최적 해로 수렴함을 증명한다.
• 같은 이론적 조건 하에서, 추가 측정 노이즈에 대해서도 방법이 강건함을 입증한다.
• 심층 생성 모델의 표현 능력을 활용하여 단순한 희박성 이상의 복잡한 신호 구조를 포착한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델을 사용하여 과소결정 측정에서 신호를 정확히 복원할 수 있는 조건는 무엇인가?
• RQ2 재구성 오차는 생성 모델이 진짜 신호를 얼마나 잘 표현하는지에 따라 어떻게 달라지는가?
• RQ3 이론적 수렴 보장을 갖춘 효율적인 잠재 공간 복원 최적화 알고리즘을 설계할 수 있는가?
• RQ4 측정 노이즈가 존재할 경우, 방법의 성능은 어떻게 되는가?
• RQ5 안정적이고 정확한 복원을 위해 필요한 최소 측정 수는 얼마인가?

주요 결과

• 이론적 분석을 통해 $m > 2k$ 일 경우 정확한 복원이 가능함을 입증하였으며, 여기서 $m$ 은 측정 수이고 $k$ 는 생성 모델의 잠재 차원이다.
• 재구성 오차는 생성 모델의 근사 오차로 제한되며, 즉 $\min_{\mathbf{u}} \|g(\mathbf{u}) - \mathbf{x}\|$, 진짜 신호에 대한 충실도를 보장한다.
• 투영 경사 하강 알고리즘이 $m > 2k$ 조건을 만족할 경우 최적 해로 수렴함을 증명하였다.
• 측정 노이즈에 대해 강건하며, 오차 성장도 제한되어 안정적인 성능을 유지한다.
• 수치 결과는 기존의 희박성 기반 방법보다 적은 측정 수로도 신호를 효과적으로 복원할 수 있음을 보여준다.
• 오토인코더가 학습한 더 풍부하고 데이터 기반의 신호 구조를 활용함으로써, 기존의 압축 측정 기법보다 성능이 뛰어나다.