[논문 리뷰] ADMM-DIPTV: combining Total Variation and Deep Image Prior for image restoration.

Pasquale Cascarano, Andrea Sebastiani외 1명|arXiv (Cornell University)|2020. 09. 23.

Sparse and Compressive Sensing Techniques참고 문헌 16인용 수 8

한 줄 요약

이 논문은 ADMM-DIPTV라는 새로운 이미지 복원 프레임워크를 제안한다. 이 프레임워크는 ADMM 최적화 프레임워크를 사용하여 딥 이미지 프리오르(DIP)와 총변동(TV) 정규화를 결합한다. DIP와 TV 항목을 분리함으로써, 합성 및 실제 이미지 복원 작업 모두에서 더 높은 PSNR와 SSIM 성능을 달성하며, 비지도 설정에서 구조적 희소성과 딥 생성 프리오르의 효과성을 입증한다.

ABSTRACT

In the last decades, unsupervised deep learning based methods have caught researchers attention, since in many applications collecting a great amount of training examples is not always feasible. Moreover, the construction of a good training set is time consuming and hard because the selected data have to be enough representative for the task. In this paper, we mainly focus on the Deep Image Prior (DIP) framework powered by adding the Total Variation regularizer which promotes gradient-sparsity of the solution. Differently from other existing approaches, we solve the arising minimization problem by using the well known Alternating Direction Method of Multipliers (ADMM) framework, decoupling the contribution of the DIP $L_{2}$-norm and Total Variation terms. The promising performances of the proposed approach, in terms of PSNR and SSIM values, are addressed by means of experiments for different image restoration tasks on synthetic as well as on real data.

연구 동기 및 목표

• 이미지 복원에서 레이블이 부족한 훈련 데이터 문제를 비지도 딥 러닝을 활용하여 해결하기 위해.
• 딥 이미지 프리오르의 인덕티브 바이어스와 총변동의 기울기 희소성 촉진 기능을 결합하여 이미지 복원 성능을 향상시키기 위해.
• 결합된 DIP 및 TV 최소화 문제를 해결하기 위한 안정적이고 효율적인 최적화 프레임워크를 개발하기 위해.
• 쌍체 훈련 데이터가 필요 없이 다양한 이미지 복원 작업에 대해 방법을 평가하기 위해.

제안 방법

• 이 방법은 이미지 복원을 DIP 손실(L2-노름의 네트워크 생성 이미지)과 총변동(TV) 정규화 항을 조합한 제약 최적화 문제로 공식화한다.
• 이들은 교대 방식의 다중수단 방법(ADMM)을 사용하여 문제를 DIP와 TV 구성 요소를 별도로 처리하는 하위문제로 분해한다.
• ADMM는 이미지 추정치, DIP가 생성한 이미지, 이중 변수에 대해 교대 최소화를 수행함으로써 수렴성과 두 정규화 항의 분리성을 보장한다.
• DIP 구성 요소는 사전 훈련 없이 최적화 과정을 통해 이미지 프리오르를 암묵적으로 학습하는 U-Net 유사 생성 네트워크를 사용한다.
• TV 항목은 기울기의 희소성을 촉진함으로써 조각별로 매끄러운 이미지를 강제함으로써 에지 보존성을 향상시킨다.
• 최적화 과정은 ADMM 하위단계를 통해 이미지 추정치를 갱신하고, DIP 네트워크 파라미터를 개선하는 것으로 번갈아가며 수행된다.

실험 결과

연구 질문

• RQ1 딥 이미지 프리오르와 총변동 정규화를 결합하면 비지도 설정에서 이미지 복원 성능을 향상시킬 수 있는가?
• RQ2 기존 최적화 방법에 비해, 연속된 DIP 및 TV 목표 함수 최적화 시 ADMM 프레임워크가 더 나은 수렴성과 안정성을 제공하는가?
• RQ3 제안된 ADMM-DIPTV 방법은 합성 및 실제 데이터를 포함한 다양한 이미지 복원 작업에서 어떻게 성능을 발휘하는가?
• RQ4 TV 정규화 항이 복원된 이미지의 에지 보존성과 구조적 충실도를 어느 정도 향상시키는가?

주요 결과

• 제안된 ADMM-DIPTV 프레임워크는 합성 이미지 복원 작업에서 기준 방법들보다 더 높은 PSNR와 SSIM 값을 달성한다.
• 이 방법은 실제 이미지 복원 데이터에서도 뛰어난 성능을 보이며, 합성 예제를 넘어서 일반화 능력을 확인한다.
• ADMM를 통한 DIP와 TV 항목의 분리로 인해, 공동 최적화에 비해 더 안정적이고 효과적인 최적화가 가능해진다.
• 총변동 정규화 항의 포함으로 인해 복원된 이미지의 구조적 충실도와 에지 보존성이 향상된다.
• 이 방법은 레이블이 없는 훈련 데이터가 전혀 필요 없이도 경쟁 가능한 성능을 달성하여, 비지도 성격을 입증한다.