[論文レビュー] Deep Image Prior with L0 Gradient Regularizer for Image Smoothing

Nhat Thanh Tran, Kevin Bui+1 more|arXiv (Cornell University)|Jan 19, 2026

Image Enhancement Techniques被引用数 0

ひとこと要約

DIP-ℓ0を用いた教師なしディープ画像事前推定法を提案。L0勾配正則化を加えることで、訓練データなしでエッジを保持した画像平滑化とJPEGアーティファクト除去を実現。ADMMベースの最適化で解決。

ABSTRACT

Image smoothing is a fundamental image processing operation that preserves the underlying structure, such as strong edges and contours, and removes minor details and textures in an image. Many image smoothing algorithms rely on computing local window statistics or solving an optimization problem. Recent state-of-the-art methods leverage deep learning, but they require a carefully curated training dataset. Because constructing a proper training dataset for image smoothing is challenging, we propose DIP-$\ell_0$, a deep image prior framework that incorporates the $\ell_0$ gradient regularizer. This framework can perform high-quality image smoothing without any training data. To properly minimize the associated loss function that has the nonconvex, nonsmooth $\ell_0$ ``norm", we develop an alternating direction method of multipliers algorithm that utilizes an off-the-shelf $\ell_0$ gradient minimization solver. Numerical experiments demonstrate that the proposed DIP-$\ell_0$ outperforms many image smoothing algorithms in edge-preserving image smoothing and JPEG artifact removal.

研究の動機と目的

• 深い画像事前推定と非凸L0勾配正則化を組み合わせて、 curated training data を必要としない画像平滑化を動機づける。
• L0勾配項を含む非滑らか・非凸損失を最小化するADMMベースの最適化スキームを開発する。
• 最先端のグローバル・深いフィルタと対して、エッジ保持平滑化およびJPEGアーティファクト除去で競争力を示す。

提案手法

• 教師なしDIP事前推定に基づき、画像平滑化を min_theta ||f - g_theta(x)||^2 + lambda ||nabla g_theta(x)||_0 と定式化する。
• ADMM最適化を可能にするため、補助変数 v と制約 v = g_theta(x を導入する。
• ADMMループ内での不完全なSGD（バックプロパゲーション）により theta の更新を解く。
• L0勾配最小化の近似法（Region Fusion）を用いて v の更新を解く。
• ラグランジュ乗数を更新し、指数平均化を通じて出力を組み合わせて最終の平滑化画像を得る。
• 提案アルゴリズムの変種としてRegion Fusion DIP-ℓ0を用い、最良の性能のためにlambda、beta、T、学習率を調整する。

(a) Original

実験結果

リサーチクエスチョン

• RQ1 L0勾配正則化を取り入れることで、教師なしの深い画像事前推定は高品質なエッジ保持平滑化を達成できるか。
• RQ2 L0勾配項を含むADMM最適化は、エッジ保持平滑化およびJPEGアーティファクト除去において従来の平滑化フィルタや他の深層フィルタより優れているか。
• RQ3 忠実度と平滑化の最適なバランスを生む実用的なパラメータ設定（lambda、beta、反復回数）は何か。
• RQ4 DIP-ℓ0は標準の平滑化ベンチマークで、 supervise された深層フィルタや非深層法とどう比較されるか。

主な発見

Method	PSNR	SSIM
PNLS	33.8614	0.9623
ℓ0 Smoothing	32.2160	0.9517
Pottslab	33.6690	0.9594
Region Fusion	33.1948	0.9586
GSF	33.8940	0.9649
RTV	33.5896	0.9592
Semi-Global WLS	33.4778	0.9576
Semi-Sparsity Filter	32.9694	0.9528
JESS-Net	34.4435	0.9664
ResNet	29.0895	0.9326
VDCNN	29.8640	0.9353
Deep WLS	33.3790	0.9531
DIP	29.3037	0.9033
DIP-TV	33.8018	0.9605
Region Fusion DIP-ℓ0 (Proposed)	34.9755	0.9641

• Region Fusion DIP-ℓ0は、エッジ保持平滑化のベンチマークで比較法の中で平均PSNRが最も高い。
• Region Fusion DIP-ℓ0は、SSIMが競売力を持ち、トップ手法（特にJESS-NetとGSF）にわずかに及ばずも競合または最高を達成。
• DIP-ℓ0の変種は、多くの従来の平滑化法や一部の深層平滑化法を上回るが、教師なしのまま。
• 品質因子10%のJPEGアーティファクト除去では、Region Fusion DIP-ℓ0が強力な平均PSNRとSSIMを提供し、評価された手法の中でしばしばトップ。
• 提案されたDIP-ℓ0フレームワークは、教師なしの深先推定がいくつかの教師あり深層フィルタを平滑化タスクで凌駕し得ることを示す。
• この手法は画像ごとにニューラルネットワークの最適化を要するため計算負荷が高く、品質と効率のトレードオフを生む。

(b) Corrupted