[논문 리뷰] Phase Retrieval Under a Generative Prior

Paul Hand, Oscar Leong외 1명|arXiv (Cornell University)|2018. 07. 11.

Advanced X-ray Imaging Techniques참고 문헌 2인용 수 16

한 줄 요약

이 논문은 깊이 있는 생성 모델을 사전으로 사용하는 새로운 단계 복원 프레임워크를 제안하며, 잠재 공간에서 최적화하여 정보 이론적으로 최적의 샘플 복잡도로 신호를 복원한다. $ m = O(kd^2\log n) $ 측정값을 사용할 경우, 미세한 조건 하에 경사하강법이 전역 수렴함을 증명하며, 기존의 $ \ell_1 $-기반 희소 복원 방법보다 뛰어난 성능을 보인다.

ABSTRACT

The phase retrieval problem asks to recover a natural signal $y_0 \in \mathbb{R}^n$ from $m$ quadratic observations, where $m$ is to be minimized. As is common in many imaging problems, natural signals are considered sparse with respect to a known basis, and the generic sparsity prior is enforced via $\ell_1$ regularization. While successful in the realm of linear inverse problems, such $\ell_1$ methods have encountered possibly fundamental limitations, as no computationally efficient algorithm for phase retrieval of a $k$-sparse signal has been proven to succeed with fewer than $O(k^2\log n)$ generic measurements, exceeding the theoretical optimum of $O(k \log n)$. In this paper, we propose a novel framework for phase retrieval by 1) modeling natural signals as being in the range of a deep generative neural network $G : \mathbb{R}^k ightarrow \mathbb{R}^n$ and 2) enforcing this prior directly by optimizing an empirical risk objective over the domain of the generator. Our formulation has provably favorable global geometry for gradient methods, as soon as $m = O(kd^2\log n)$, where $d$ is the depth of the network. Specifically, when suitable deterministic conditions on the generator and measurement matrix are met, we construct a descent direction for any point outside of a small neighborhood around the unique global minimizer and its negative multiple, and show that such conditions hold with high probability under Gaussian ensembles of multilayer fully-connected generator networks and measurement matrices. This formulation for structured phase retrieval thus has two advantages over sparsity based methods: 1) deep generative priors can more tightly represent natural signals and 2) information theoretically optimal sample complexity. We corroborate these results with experiments showing that exploiting generative models in phase retrieval tasks outperforms sparse phase retrieval methods.

연구 동기 및 목표

• 희소 신호에 대해 $ O(k^2\log n) $ 측정값이 필요로 하는 $ \ell_1 $-정규화 단계 복원의 근본적인 샘플 복잡도 한계를 극복하기 위해.
• 자연 신호를 깊이 있는 생성 네트워크의 출력으로 모델링함으로써 더 탴밀한 표현과 낮은 측정 요구 조건을 가능하게 하는 새로운 단계 복원 프레임워크를 개발하기 위해.
• 일반적인 측정 집합 하에서 생성 모델의 잠재 공간에서 기반으로 하는 최적화에 대해 전역 수렴 보장을 수립하기 위해.
• 제안된 방법이 정보 이론적으로 최적의 샘플 복잡도 $ O(kd^2\log n) $ 를 달성함을 보여주기 위해, 여기서 $ d $ 는 네트워크 깊이이다.

제안 방법

• 깊이 있는 ReLU 기반 생성 모델 $ G $ 를 사용하여 잠재 공간 최적화 문제로 단계 복원을 공식화함: $ x \in \mathbb{R}^k $ 에 대해 $ \frac{1}{2}\| |AG(x)| - |AG(x_0)| \|^2 $ 를 최소화.
• 깊이 있는 신경망 $ G: \mathbb{R}^k \to \mathbb{R}^n $ 의 범위에 복구를 제한함으로써 생성 사전을 도입함. 이는 $ d $-층의 완전 연결 가중치와 ReLU 활성화 함수로 파arameter화됨.
• 모든 점이 전역 최소화점과 그 음수 근처의 작은 이웃 외부에 있을 경우, 경험 위험 목적 함수가 내림차순 방향을 가짐을 보장하는 결정론적 조건을 설정함.
• 생성 모델의 가중치가 i.i.d. $ \mathcal{N}(0,1/n_i) $ 이고 측정 행렬 $ A $ 가 i.i.d. $ \mathcal{N}(0,1/m) $ 이면 이러한 조건이 높은 확률로 성립함을 증명함.
• 생성 모델의 야코비안 이미지 위에서 $ A^\top A $ 가 기대값에서 벗어나지 않도록 제어하기 위해 제한된 범위 농도 성질(RRCP)을 사용함.
• 최적화 경관의 안정성을 보장하기 위해 $ Av $ 의 부호 패턴 수를 제한하기 위해 통일된 제한 농도 성질(RCP)을 적용함.

실험 결과

연구 질문

• RQ1 깊이 있는 생성 사전을 통해 정보 이론적으로 최적의 샘플 복잡도를 달성할 수 있는가?
• RQ2 생성 모델의 잠재 공간에서 경험 위험 목적 함수가 경사하강법에 대해 유리한 전역 기하학적 성질을 가지는가?
• RQ3 생성 모델과 측정 행렬에 대해 어떤 조건에서 목적 함수가 모든 비해결점에서 내림차순 방향을 가질 수 있는가?
• RQ4 제안된 프레임워크가 샘플 효율성과 복원 정확도 측면에서 기존의 $ \ell_1 $-기반 희소 단계 복원 방법을 능가할 수 있는가?

주요 결과

• 제안된 딥 단계 복원(DPR) 프레임워크는 네트워크 깊이 $ d $ 와 잠재 차원 $ k $ 에 대해 정보 이론적으로 최적의 샘플 복잡도 $ O(kd^2\log n) $ 를 달성한다.
• 고정된 생성 모델과 측정 행렬 하에서, 진짜 잠재 코드 $ x_0 $ 와 그 음수 근처의 작은 이웃 외부에 있는 모든 점에서 경험 위험 목적 함수가 높은 확률로 내림차순 방향을 가짐.
• 생성 모델 가중치와 측정 행렬이 i.i.d. 가우시안일 경우, 유리한 기하학적 성질을 보장하는 결정론적 조건이 높은 확률로 성립하며, 이는 경사하강법의 전역 수렴을 보장한다.
• 실험 결과에서 기존의 $ \ell_1 $-기반 희소 단계 복원 방법보다 더 탄탄한 신호 표현과 낮은 측정 요구 조건을 보여줌.
• 분석을 통해 $ k $ 차원 부분공간에 속하는 $ v $ 에 대해 $ Av $ 의 부호 패턴 수가 $ O(m^{2k}) $ 이하로 제한됨을 증명하며, 최적화 경관에서의 농도 제어를 가능하게 한다.