[논문 리뷰] Image Restoration using Total Variation Regularized Deep Image Prior

Jiaming Liu, Yu Sun외 2명|arXiv (Cornell University)|2018. 10. 30.

Sparse and Compressive Sensing Techniques인용 수 15

한 줄 요약

이 논문은 재구성 품질을 햖스히기 위해 딥 이미지 프리오르(DIP)와 총변위(TV) 정규화를 조합한 새로운 이미지 복원 프레임워크인 DIP-TV를 제안한다. CNN 생성자와 명시적 TV 페널티를 함께 최적화함으로써 DIP-TV는 노이즈 제거와 블러 제거에서 최신 기술 수준의 성능을 달성하며, 특히 고노이즈 수준에서 표준 DIP와 BM3D, IRCNN과 같은 전통적 방법보다 뛰어난 성능을 보인다.

ABSTRACT

In the past decade, sparsity-driven regularization has led to significant improvements in image reconstruction. Traditional regularizers, such as total variation (TV), rely on analytical models of sparsity. However, increasingly the field is moving towards trainable models, inspired from deep learning. Deep image prior (DIP) is a recent regularization framework that uses a convolutional neural network (CNN) architecture without data-driven training. This paper extends the DIP framework by combining it with the traditional TV regularization. We show that the inclusion of TV leads to considerable performance gains when tested on several traditional restoration tasks such as image denoising and deblurring.

연구 동기 및 목표

• 딥 이미지 프리오르(DIP)의 고노이즈 환경에서의 한계를 명시적 정규화를 통해 보완하기 위해.
• CNN의 암묵적 인덕티브 바이어스와 총변위(TV)의 조각별 평탄성 사전 지식을 조합함으로써 이미지 복원 성능을 향상시키기 위해.
• 사전 학습된 모델이나 대규모 데이터셋을 요구하지 않으면서도 경쟁 가능한 성능을 달성하여 DIP의 데이터 프리어스 성격을 유지하기 위해.
• 어려운 복원 작업에서 DIP와 BM3D, IRCNN과 같은 최신 기술 수준의 방법 사이의 성능 격차를 메우기 위해.

제안 방법

• 이 방법은 데이터 피드백과 두 정규화 항을 포함하는 정규화된 최적화 문제로 이미지 복원을 공식화한다: DIP 프레임워크에서 유래한 정규화(신경망 생성자 가중치), 그리고 이미지 기울기에서 유도된 총변위(TV) 정규화.
• 입력 노이즈 벡터를 고정한 채로 ADAM 또는 유사한 확률적 경량 방법을 사용하여 CNN 가중치를 반복적으로 최적화함으로써 목적 함수를 최소화한다.
• TV 정규화는 수평 및 수직 방향의 이미지 기울기 크기에 대한 ℓ1-노름 페널티로 구현된다.
• 신경망 아키텍처는 원래 DIP 논문에서 제안된 언롤드 U-Net 스타일을 따르며, 스킵 연결이 있고 사전 학습이 없다.
• 최적화 과정은 데이터 피드백 항을 최소화하기 위해 네트워크 가중치를 갱신하고, 정규화 항을 통해 TV 희박성 조건을 강제하는 것으로 번갈아가며 수행된다.
• 이 방법은 회색조 및 컬러 이미지에 모두 적용되며, 가우시안 백색 잡음(AWGN) 조건 하에서 노이즈 제거 및 블러 제거 실험을 수행한다.

실험 결과

연구 질문

• RQ1 명시적 총변위(TV) 정규화의 포함이 딥 이미지 프리오르(DIP)의 이미지 복원 성능 향상에 기여하는가?
• RQ2 DIP-TV는 표준 DIP와 BM3D, IRCNN과 같은 전통적 최신 기술 수준의 방법과 비교해 PSNR 및 시각적 품질 측면에서 어떻게 성능을 내는가?
• RQ3 TV 정규화는 DIP가 단독으로 구조적 세부 정보를 유지하지 못할 수 있는 고노이즈 수준에서 DIP의 강건성을 향상시키는가?
• RQ4 암묵적 CNN 사전 지식과 명시적 TV 정규화의 조합이 얼마나 효과적으로 조각별 평탄성과 텍스처 보존을 향상시키는가?

주요 결과

• 이미지 노이즈 제거에서 DIP-TV는 5 dB에서 20 dB까지의 노이즈 수준에서 표준 DIP보다 평균 0.5 dB의 SNR 향상을 달성한다.
• σ = 65인 Monarch 이미지에서 DIP-TV는 DIP보다 0.5 dB 높고, BM3D보다 0.35 dB 높은 SNR을 기록한다.
• 이미지 블러 제거에서 DIP-TV는 Peppers 이미지에서 DIP보다 PSNR를 0.45 dB 이상 향상시키며, IRCNN보다 0.15 dB 높은 성능을 보인다.
• σ = 75일 때 컬러 이미지 노이즈 제거에서 DIP-TV는 평균 SNR 22.65 dB를 기록하여 DIP(22.05 dB)를 능가하고, BM3D(22.50 dB)와 동일한 성능을 내며 이미지에 종속되지 않는다는 점에서 유리하다.
• 가우시안 블러(σ = 2) 조건에서 회색조 및 컬러 이미지에 대해 DIP-TV는 평균 PSNR 32.03 dB와 34.09 dB를 기록했으며, IRCNN 성능과 0.01 dB 이내로 근접한다.
• 시각적 결과는 DIP-TV가 노이즈를 효과적으로 억제하면서도 세부 텍스처와 구조적 세부 정보(예: 타워 이미지의 문)를 잘 유지하고 있음을 보여준다. 다른 방법들은 이 부분에서 왜곡을 일으킨다.