[논문 리뷰] Deep Image Prior with L0 Gradient Regularizer for Image Smoothing

Nhat Thanh Tran, Kevin Bui외 1명|arXiv (Cornell University)|2026. 01. 19.

Image Enhancement Techniques인용 수 0

한 줄 요약

DIP-ℓ0를 제시하는 비감독 딥 이미지 프라이어(DIP) 방법은 L0 그래디언트 규제로 엣지 보존 이미징 매끄럽힘과 학습 데이터 없이 JPEG 아티팩트 제거를 수행하며, ADMM 기반 최적화로 해결됩니다.

ABSTRACT

Image smoothing is a fundamental image processing operation that preserves the underlying structure, such as strong edges and contours, and removes minor details and textures in an image. Many image smoothing algorithms rely on computing local window statistics or solving an optimization problem. Recent state-of-the-art methods leverage deep learning, but they require a carefully curated training dataset. Because constructing a proper training dataset for image smoothing is challenging, we propose DIP-$\ell_0$, a deep image prior framework that incorporates the $\ell_0$ gradient regularizer. This framework can perform high-quality image smoothing without any training data. To properly minimize the associated loss function that has the nonconvex, nonsmooth $\ell_0$ ``norm", we develop an alternating direction method of multipliers algorithm that utilizes an off-the-shelf $\ell_0$ gradient minimization solver. Numerical experiments demonstrate that the proposed DIP-$\ell_0$ outperforms many image smoothing algorithms in edge-preserving image smoothing and JPEG artifact removal.

연구 동기 및 목표

• 교육된 학습 데이터 없이도 딥 이미지 프라이어와 비볼록 L0 그래디언트 규제를 결합하여 이미지 매끄럽힘을 고무한다.
• L0 그래디언트 항을 포함하는 비평활하고 비볼록 손실을 최소화하기 위한 ADMM 기반 최적화 체계를 개발한다.
• 최첨단 전역 및 딥 필터에 대해 엣지 보존 매끄럽힘 및 JPEG 아티팩트 제거에서 경쟁력 있는 성능을 입증한다.

제안 방법

• 비감독 DIP 프라이어를 사용하여 이미지 매끄럽힘을 ∥f - g_theta(x)∥^2 + λ ∥∇g_theta(x)∥_0를 최소화하는 형태로 수식화한다.
• ADMM 최적화를 가능하게 하기 위해 보조 변수 v와 제약식 v = g_theta(x)를 도입한다.
• ADMM 루프 내에서 근사적 SGD(역전파)를 통해 theta 업데이트를 해결한다.
• L0 그래디언트 최소화를 위한 근사 방법(Region Fusion)을 사용해 v 업데이트를 해결한다.
• 라그랑주 승수를 업데이트하고 지수 평균을 통해 출력을 결합하여 최종 매끄러운 이미지를 얻는다.
• 제안된 알고리즘 변형으로 Region Fusion DIP-ℓ0를 사용하고 최상의 성능을 위해 λ, β, T, 학습률을 조정한다.

(a) Original

실험 결과

연구 질문

• RQ1 비감독 딥 이미지 프라이어가 L0 그래디언트 규제를 도입하여 고품질의 엣지 보존 매끄럽움을 달성할 수 있는가
• RQ2 L0 그래디언트 항을 포함한 ADMM 기반 최적화가 전통적 스무딩 필터 및 다른 딥 필터를 엣지 보존 매끄럽힘과 JPEG 아티팩트 제거에서 능가하는가
• RQ3 충실도와 매끄럽힘 간 최적의 균형을 제공하는 실용적인 매개 변수 설정(lambda, beta, 반복 횟수)은 무엇인가
• RQ4 표준 매끄럽힘 벤치마크에서 DIP-ℓ0가 감독 학습 딥 필터 및 비딥 방법과 어떻게 비교되는가

주요 결과

방법	PSNR	SSIM
PNLS	33.8614	0.9623
ℓ0 Smoothing	32.2160	0.9517
Pottslab	33.6690	0.9594
Region Fusion	33.1948	0.9586
GSF	33.8940	0.9649
RTV	33.5896	0.9592
Semi-Global WLS	33.4778	0.9576
Semi-Sparsity Filter	32.9694	0.9528
JESS-Net	34.4435	0.9664
ResNet	29.0895	0.9326
VDCNN	29.8640	0.9353
Deep WLS	33.3790	0.9531
DIP	29.3037	0.9033
DIP-TV	33.8018	0.9605
Region Fusion DIP-ℓ0 (Proposed)	34.9755	0.9641

• 엣지 보존 매끄럽힘 벤치마크에서 Region Fusion DIP-ℓ0가 비교 방법 중 평균 PSNR이 최상위를 차지한다.
• Region Fusion DIP-ℓ0는 경쟁력 있는 또는 최고 수준의 SSIM를 달성하며 최상위 방법들(JESS-Net 및 GSF)을 바짝 뒤쫓는다.
• DIP-ℓ0 변형들이 다수의 전통적 방법과 일부 딥 매끄럽힘 방법들보다 우수하게 나타나며 비감독 상태를 유지한다.
• 품질 계수 10%인 JPEG 아티팩트 제거에서 Region Fusion DIP-ℓ0는 강한 평균 PSNR 및 SSIM을 제공하며 평가된 방법들 중 종종 최상위에 있다.
• 제안된 DIP-ℓ0 프레임워크는 비감독 딥 프라이어가 매끄럽힘 작업에서 다수의 감독형 딥 필터를 능가할 수 있음을 보여준다.
• 해당 방법은 이미지별 신경망 최적화로 인해 계산적으로 느릴 수 있으며 품질과 효율성 간의 트레이드오프를 강조한다.

(b) Corrupted