[論文レビュー] ADMM-DIPTV: combining Total Variation and Deep Image Prior for image restoration.

Pasquale Cascarano, Andrea Sebastiani+1 more|arXiv (Cornell University)|Sep 23, 2020

Sparse and Compressive Sensing Techniques参考文献 16被引用数 8

ひとこと要約

本稿では、ADMM最適化フレームワークを用いて深層画像プライア（DIP）と全変動（TV）正則化を組み合わせた、画像復元のための新規フレームワークADMM-DIPTVを提案する。DIPとTV項を分離することで、合成および実世界の両方の画像復元タスクでPSNRおよびSSIM性能が向上し、構造的スパarsityと深層生成プライアが教師なし設定において有効であることを示している。

ABSTRACT

In the last decades, unsupervised deep learning based methods have caught researchers attention, since in many applications collecting a great amount of training examples is not always feasible. Moreover, the construction of a good training set is time consuming and hard because the selected data have to be enough representative for the task. In this paper, we mainly focus on the Deep Image Prior (DIP) framework powered by adding the Total Variation regularizer which promotes gradient-sparsity of the solution. Differently from other existing approaches, we solve the arising minimization problem by using the well known Alternating Direction Method of Multipliers (ADMM) framework, decoupling the contribution of the DIP $L_{2}$-norm and Total Variation terms. The promising performances of the proposed approach, in terms of PSNR and SSIM values, are addressed by means of experiments for different image restoration tasks on synthetic as well as on real data.

研究の動機と目的

• 画像復元におけるラベル付き学習データの制限を、教師なしディープラーニングを活用することで解決すること。
• 深層画像プライアのインダクティブバイアスと全変動による勾配スパarsity促進を組み合わせることで、画像復元性能を向上させること。
• DIPとTVの最小化問題を解く安定的かつ効率的な最適化フレームワークを開発すること。
• ペaired学習データを必要としない多様な画像復元タスクにおいて、手法を評価すること。

提案手法

• 本手法は、DIP損失（ネットワーク生成画像のL2ノルム）と全変動（TV）正則化項を組み合わせた制約付き最適化問題として画像復元を定式化する。
• 交替方向乗数法（ADMM）を用いて、DIPとTVの各成分を別々に取り扱う部分問題に問題を分解する。
• ADMMにより、画像推定値、DIP生成画像、および双対変数の間で交互に最小化を実行し、収束性を保証するとともに、2つの正則化項の分離を実現する。
• DIP部では、事前学習を必要とせず、最適化を通じて画像プライアを暗黙的に学習するU-Netに類似した生成ネットワークを採用する。
• TV項は、画像勾配におけるスパarsityを促進することで、ピecewise-smoothnessを強制し、エッジ保持性を向上させる。
• 最適化は、ADMMの部分問題による画像推定値の更新と、DIPネットワークパラメータの改善を交互に繰り返す。

実験結果

リサーチクエスチョン

• RQ1 教師なし設定において、深層画像プライアと全変動正則化を組み合わせることで、画像復元性能が向上するか？
• RQ2 標準的な最適化手法と比較して、DIPとTVの目的関数を最適化する際に、ADMMフレームワークがより良好な収束性と安定性を提供するか？
• RQ3 提案されたADMM-DIPTV手法は、合成データおよび実世界データを含む多様な画像復元タスクにおいて、どの程度の性能を示すか？
• RQ4 TV正則化項が、復元画像におけるエッジ保持性と構造的忠実性をどの程度向上させるか？

主な発見

• 提案されたADMM-DIPTVフレームワークは、合成画像復元タスクにおいて、ベースライン手法よりも高いPSNRおよびSSIM値を達成した。
• 本手法は、実世界の画像復元データに対しても頑健な性能を示し、合成例を超えた一般化能力を確認した。
• ADMMによるDIPとTV項の分離により、共同最適化に比べてより安定的かつ効果的な最適化が実現された。
• 全変動正則化の導入により、復元画像における構造的忠実性とエッジ保持性が向上した。
• ラベル付き学習データを一切必要としないため、手法の教師なし性が妥当であることが裏付けられた。