[논문 리뷰] Unrolled Optimization with Deep Priors

Steven Diamond, Vincent Sitzmann외 2명|arXiv (Cornell University)|2017. 05. 22.

Sparse and Compressive Sensing Techniques참고 문헌 3인용 수 128

한 줄 요약

이 백서는 ODP를 소개합니다, 학습 가능한 딥 CNN 사전으로 고전 최적화를 전개해 역영상 문제를 해결하는 원리적 프레임워크로, denoising, deblurring 및 compressed sensing MRI에서 최첨단 결과를 달성합니다.

ABSTRACT

A broad class of problems at the core of computational imaging, sensing, and low-level computer vision reduces to the inverse problem of extracting latent images that follow a prior distribution, from measurements taken under a known physical image formation model. Traditionally, hand-crafted priors along with iterative optimization methods have been used to solve such problems. In this paper we present unrolled optimization with deep priors, a principled framework for infusing knowledge of the image formation into deep networks that solve inverse problems in imaging, inspired by classical iterative methods. We show that instances of the framework outperform the state-of-the-art by a substantial margin for a wide variety of imaging problems, such as denoising, deblurring, and compressed sensing magnetic resonance imaging (MRI). Moreover, we conduct experiments that explain how the framework is best used and why it outperforms previous methods.

연구 동기 및 목표

• 일반 프레임워크(ODP)를 계량화하고 형식화하여 역상 이미지 문제에 사전 정보를 언롤된 최적화에 포함합니다.
• 데이터 일관성과 학습된 CNN 사전을 결합하여 고품질 재구성을 달성합니다.
• denoising, deblurring, CS-MRI에서 최첨단 성능을 시연합니다.
• ODP에서 사전 정보를 언제 어떻게 활용할지에 대한 경험적 지침을 제공합니다.
• 언롤드 프레임워크 내에서 최적화 알고리즘과 네트워크 아키텍처 선택에 대한 통찰을 제공합니다.

제안 방법

• 최적화 알고리즘(예: 근접 그래디언트)을 고정 깊이 네트워크로 언롤링하고 데이터 스텝과 CNN 사전 스텝을 번갈아 배치합니다.
• 사전 항의 근접 연산자나 그래디언트를 CNN 사전(종종 잔차 CNN)으로 매개변수화합니다.
• 재구성 손실을 이미지-측정 쌍에 대해 엔드투엔드로 학습하여 CNN과 알고리즘 하이퍼파라미터를 최적화합니다.
• 역문제를 해결하기 위해 간단한 백프로젝션 x^0 = A^H y로 초기화합니다.
• 데이터 항을 가장 잘 활용하는지 평가하기 위해 다른 언롤드 최적화 변형들(근접 그래디언트, ADMM, LADMM, 그래디언트 하강)을 비교합니다.
• 프로토타입 기본값: 강력한 베이스라인으로 근접 그래디언트 언롤을 선택하고 잔차 CNN 사전을 사용하며 HQS에서 영감을 받은 감소하는 스텝 사이즈 휴리스틱을 채택합니다.

실험 결과

연구 질문

• RQ1 학습된 사전을 가진 언롤드 최적화가 일반 이미지 형성 역문제들(denoising, deblurring, CS-MRI)에서 최첨단 방법을 능가할 수 있는가?
• RQ2 데이터 항 역추정은 어떤 최적화 알고리즘과 어떤 근접/그래디언트 스텝이 가장 좋은가를 고려하여 언롤드 네트워크에 어떻게 통합되어야 하는가?
• RQ3 CNN 사전이 성능에 얼마나 크게 기여하고 데이터 스텝과의 상호 작용은 문제에 따라 어떻게 달라지는가?
• RQ4 ODP 내에서 학습된 아키텍처와 매개변수 선택이 이미지 형성 연산자(예: 단일 A를 넘어 일반화될 수 있는가) 간에 전달되는가?

주요 결과

모델	20%	30%	40%	50%	이미지당 시간
PBDW	36.34	38.64	40.31	41.81	35.36s (CPU)
PANO	36.52	39.13	41.01	42.76	53.48s (CPU)
FDLCP	36.95	39.13	40.62	42.00	52.22s (CPU)
ADMM-Net	37.17	39.84	41.56	43.00	0.79s (CPU)
BM3D-MRI	37.98	40.33	41.99	43.47	40.91s (CPU)
ODP	38.50	40.71	42.34	43.85	0.090s (GPU)

• ODP 모델은 denoising, deblurring, CS-MRI에서 여러 실험에 걸쳐 최첨단 방법을 능가합니다.
• 다중 이미지 형성 연산자에 대해 학습된 단일 ODP 모델은 연산자별로 학습된 전문 모델을 능가할 수 있습니다(예: CS-MRI에서).
• CNN 사전과 한 단계마다 A를 대략적으로 역환하는 연산자를 갖춘 근접-그래디언트 기반의 언롤드 네트워크가 테스트된 알고리즘 중에서 가장 우수한 경향을 보였습니다.
• 데이터 스텝의 역추정은 가능하고 정확할 때 재구성에 상당한 도움을 주며, CNN 사전은 주로 잡음 제거와 잔여 아티팩트를 보정합니다.
• 사전 정보는 일반화 성능을 향상시키는 경향이 있으며, 특히 이미지 형성 연산자가 복잡하거나 학습 중 보이지 않은 경우에 그렇습니다.
• 특성상 순수 CNN 사전은 데이터 스텝이 없는 경우 deblurring와 CS-MRI에서 성능이 떨어져, 도전적 역문제에서 데이터 일관성 항의 중요성을 강조합니다.