[논문 리뷰] Compressed Sensing with Deep Image Prior and Learned Regularization

Dave Van Veen, Ajil Jalal외 4명|arXiv (Cornell University)|2018. 06. 17.

Sparse and Compressive Sensing Techniques참고 문헌 83인용 수 167

한 줄 요약

논문은 CS-DIP를 도입합니다. 이는 학습되지 않은 심층 이미지 사전(DIP)을 사용하고 재구성 오류를 줄이기 위한 학습된 정규화 항을 활용하여 대규모 선행 학습 데이터셋 없이 재구성을 개선하는 압축 센싱 방법입니다.

ABSTRACT

We propose a novel method for compressed sensing recovery using untrained deep generative models. Our method is based on the recently proposed Deep Image Prior (DIP), wherein the convolutional weights of the network are optimized to match the observed measurements. We show that this approach can be applied to solve any differentiable linear inverse problem, outperforming previous unlearned methods. Unlike various learned approaches based on generative models, our method does not require pre-training over large datasets. We further introduce a novel learned regularization technique, which incorporates prior information on the network weights. This reduces reconstruction error, especially for noisy measurements. Finally, we prove that, using the DIP optimization approach, moderately overparameterized single-layer networks can perfectly fit any signal despite the non-convex nature of the fitting problem. This theoretical result provides justification for early stopping.

연구 동기 및 목표

• 학습되지 않은 심층 생성 네트워크(DIP)를 이용해 차등 가능 역문제들(예: 압축 센싱)을 해결하는 방법을 탐구한다.
• 네트워크 가중치에 대한 사전 정보를 인코딩하는 학습된 정규화 항을 도입하여 재구성 오차를 줄인다.
• DIP 최적화하에 과매개변수화된 단일층 네트워크에 대한 이론적 수렴/적합 보장을 증명한다.
• 의료 및 자연 이미지에서 최첨단 학습되지 않은 방법 대비 실험적 개선을 입증한다.

제안 방법

• 학습되지 않은 DCGAN 제너레이터 G(z;w)의 가중치 w를 최소화하도록 최적화한다. ||y - A G(z;w)||^2 + 정규화 제약 조건하에서.
• 목적 함수에 λ_T 가중치로 총 변화(TV) 정규화 TV(G(z;w))를 포함시킨다.
• 사전 파라미터 μ, Σ를 갖는 LR(w) = (w - μ)^T Σ^{-1} (w - μ)와 같은 학습된 정규화 항을 도입한다.
• 유사한 측정의 소량 집합으로 μ, Σ를 계층별로 학습시키면서 w에 대한 가우시안 사전분포를 갖는 MAP 문제를 해결한다.
• 과적합을 완화하기 위해 초기 중단(early stopping)을 사용하고, 넓은 단일층 네트워크에 대한 이론적 결과로 이를 정당화한다.
• CS-DIP와 BM3D-AMP, TVAL3, Lasso를 가우시안 및 푸리에 측정 모델에서 비교한다.

실험 결과

연구 질문

• RQ1 학습되지 않은 심층 이미지 사전이 미분 가능 전방 연산자를 갖는 압축 센싱 문제를 해결할 수 있는가?
• RQ2 노이즈 및 심한 undersampling 하에서 학습된 가중치 정규화가 재구성 품질을 향상시키는가?
• RQ3 학습된 사전 가중치나 학습되지 않은 기준선과 비교하여 CS-DIP의 성능은 데이터셋과 측정 모델에 따라 어떻게 달라지는가?
• RQ4 DIP 기반 재구성에서 초기 중단의 필요를 설명하는 이론적 보장은 무엇인가?

주요 결과

• CS-DIP는 다양한 측정 regime에서 MNIST 및 chest X-ray 데이터셋에 대해 최첨단 학습되지 않은 방법을 능가한다.
• 학습된 정규화(LR)는 노이즈 및 몇 개의 측정에서 특히 주목할 만한 이점을 제공하는 반면, 일반 L2 정규화는 그렇지 않다.
• 사전 학습된 DCGAN 기반 방법은 매우 낮은 측정에서 CS-DIP보다 우수하지만, 측정이 증가함에 따라 CS-DIP가 더 확장 가능한 경향을 보인다.
• 그라디언트 디센트가 충분히 넓은 단일층 네트워크로 임의의 신호를 맞출 수 있음을 보이는 이론적 결과가 있어 조기 중단을 정당화한다.