[논문 리뷰] Solving Linear Inverse Problems Using the Prior Implicit in a Denoiser

Zahra Kadkhodaie, Eero P. Simoncelli|arXiv (Cornell University)|2020. 07. 27.

Image and Signal Denoising Methods참고 문헌 55인용 수 15

한 줄 요약

이 논문은 사전에 훈련된 블라인드 노이즈 제거기 내부에 내장된 암묵적 사전정보를 활용하여, 재훈련이 필요 없는 일반적인 방법을 제안한다. 이 방법은 선형 역문제—예를 들어 블러 제거, 초해상도 복원, 압축 감지 등—를 해결하는 데 사용된다. 확률적 코arse-to-fine 경사상승 알고리즘을 통해 노이즈 제거기의 출력을 이용해 데이터 분포의 스코어를 추정함으로써, 선형 측정값에 조건화된 사전정보에서 효율적으로 샘플링을 수행한다. 이로 인해 재훈련 없이도 다양한 작업에서 최신의 비지도 성능을 달성한다.

ABSTRACT

Prior probability models are a fundamental component of many image processing problems, but density estimation is notoriously difficult for high-dimensional signals such as photographic images. Deep neural networks have provided state-of-the-art solutions for problems such as denoising, which implicitly rely on a prior probability model of natural images. Here, we develop a robust and general methodology for making use of this implicit prior. We rely on a statistical result due to Miyasawa (1961), who showed that the least-squares solution for removing additive Gaussian noise can be written directly in terms of the gradient of the log of the noisy signal density. We use this fact to develop a stochastic coarse-to-fine gradient ascent procedure for drawing high-probability samples from the implicit prior embedded within a CNN trained to perform blind (i.e., with unknown noise level) least-squares denoising. A generalization of this algorithm to constrained sampling provides a method for using the implicit prior to solve any linear inverse problem, with no additional training. We demonstrate this general form of transfer learning in multiple applications, using the same algorithm to produce state-of-the-art levels of unsupervised performance for deblurring, super-resolution, inpainting, and compressive sensing.

연구 동기 및 목표

• 재훈련 없이도 일반적인 선형 역문제를 해결할 수 있는 프레임워크를 개발하는 것.
• 비라벨 데이터에서 알려지지 않은 가우시안 노이즈 하에서 평균 제곱오차를 최소화하도록 훈련된 딥 컨volution 네트워크 노이즈 제거기들이 학습한 암묵적 사전정보를 활용하는 것.
• 스토캐스틱 경사상승 절차를 통해 단계별로 스텝 크기와 노이즈 수준을 동적으로 조절함으로써 노이즈 제거기의 암묵적 사전정보에서 강건하고 적응적인 샘플링을 가능하게 하는 것.
• 측정값에 조건화된 선형 측정에 기반해 제약 조건이 있는 샘플링으로의 일반화를 통해, 임의의 선형 역문제를 해결할 수 있도록 하는 것.
• 단일 통합 노이즈 제거기로 다양한 이미지 복원 작업에서 이식성과 최신 성능을 입증하는 것.

제안 방법

• 이 방법은 고전적인 통계적 결과에 기반한다: 가우시안 노이즈가 첨가된 신호에 대한 최적의 노이즈 제거기는 노이즈가 첨가된 신호의 로그 밀도의 그래디언트를 계산한다.
• 확률적 코어스-투-파인 경사상승 알고리즘을 사용하여, 노이즈 제거기를 반복적으로 적용함으로써 암묵적 사전정보에서 고확률 샘플을 추출한다. 이 과정에서 로그 밀도의 그래디언트(스코어)를 추정한다.
• 스텝 크기와 노이즈 진폭은 노이즈 제거기 자체가 동적으로 제어하므로, 수동적인 하이퍼파rameter 튜닝이 필요 없다.
• 선형 역문제의 경우, 측정 공간에 투영함으로써 제약 조건이 있는 샘플링으로 확장된다. 이는 인painting 및 압축 감지와 같은 문제의 해결을 가능하게 한다.
• 다양한 노이즈 수준에서의 별도의 노이즈 제거기를 사용할 필요 없이, 알려지지 않은 노이즈 수준에서 MSE를 최소화하도록 훈련된 단일 블라인드 노이즈 제거기만을 사용한다.
• 노이즈 제거기의 출력에 기반한 직접적이고 반복적인 경사상승 전략을 사용함으로써 MCMC 샘플링을 피하고, 계산 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 사전에 훈련된 블라인드 노이즈 제거기의 암묵적 사전정보를 활용하여 재훈련 없이 다양한 선형 역문제를 효과적으로 해결할 수 있는가?
• RQ2 노이즈 제거기의 출력을 어떻게 활용하여 데이터 분포의 스코어를 추정할 수 있으며, 이로 인해 사전정보에서 효율적인 샘플링이 가능하게 되는가?
• RQ3 단일로 통합된 노이즈 제거기를 블라인드 노이즈 제거에 대해 훈련시켜 초해상도 복원 및 압축 감지와 같은 다양한 역문제를 해결하는 데 사용할 수 있는가?
• RQ4 노이즈 제거기 기반의 적응적 스텝 크기 및 노이즈 제어 메커니즘이 고정된 파rameter 방법에 비해 수렴성과 강건성에서 어떻게 향상되는가?
• RQ5 정량적 지표와 시각적 품질 측면에서 기존의 플러그 앤 플레이 및 스코어 기반 접근법에 비해 어느 정도 성능을 뛰어넘는가?

주요 결과

• 단일 사전에 훈련된 블라인드 노이즈 제거기만을 사용하여, 블러 제거, 초해상도 복원, 인painting, 압축 감지에서 최신의 비지도 성능을 달성한다.
• PSNR가 직접 샘플링 방법보다 略로 낮더라도, 시각적 품질 측면에서 원본 이미지보다 우수한 결과를 제공한다.
• 여러 샘플의 평균을 내는 것으로 단일 샘플 결과에 비해 PSNR를 향상시킬 수 있으나, 이는 블러가 증가하는 비용을 수반한다.
• 초기 스텝 크기 및 감쇠율과 같은 하이퍼파rameter 선택에 대해 강건하며, 넓은 설정 범위에서 성능이 안정적이다.
• 임의의 저차원 투영으로부터 이미지를 복원할 때, 기존의 희소 유니온 오브 서브스페이스 기반 압축 감지 사전정보보다 뚜렷이 뛰어난 성능을 보인다.
• 스토캐스틱 경사상승을 통한 비마르코프 샘플링을 효율적으로 가능하게 하여, 랭지에빈 역학이나 순차적 노이즈 제거 체인의 계산 부담을 피할 수 있다.