[論文レビュー] Early Stopping for Deep Image Prior

Hengkang Wang, Taihui Li+4 more|arXiv (Cornell University)|Dec 11, 2021

Sparse and Compressive Sensing Techniques被引用数 43

ひとこと要約

論文は、Ground-truth画像を用いずに中間再構成のランニング分散を監視することで、Deep Image Prior (DIP)とその派生に対する簡易かつ有効な早期停止戦略を提案します。このES-WMV法は、複数のDIP派生およびノイズタイプで機能し、実用性と効率性を向上させます。

ABSTRACT

Deep image prior (DIP) and its variants have showed remarkable potential for solving inverse problems in computer vision, without any extra training data. Practical DIP models are often substantially overparameterized. During the fitting process, these models learn mostly the desired visual content first, and then pick up the potential modeling and observational noise, i.e., overfitting. Thus, the practicality of DIP often depends critically on good early stopping (ES) that captures the transition period. In this regard, the majority of DIP works for vision tasks only demonstrates the potential of the models -- reporting the peak performance against the ground truth, but provides no clue about how to operationally obtain near-peak performance without access to the groundtruth. In this paper, we set to break this practicality barrier of DIP, and propose an efficient ES strategy, which consistently detects near-peak performance across several vision tasks and DIP variants. Based on a simple measure of dispersion of consecutive DIP reconstructions, our ES method not only outpaces the existing ones -- which only work in very narrow domains, but also remains effective when combined with a number of methods that try to mitigate the overfitting. The code is available at https://github.com/sun-umn/Early_Stopping_for_DIP.

研究の動機と目的

• DIPベースの逆問題におけるELTO（early-learning-then-overfitting）現象を動機づけ、対処する。
• DIP派生とノイズタイプ/レベルを横断して機能する実用的な、Ground-truthフリーのES基準を開発する。
• 最小限のハイパーパラメータ感度を持つ軽量で頑健なES手法を提供する。
• 正則化されたDIPモデルおよび暗黙的ニューラル表現の補助としてES手法を実証する。
• 既存のESおよびNR-IQMベースのアプローチと比較分析を提供する。

提案手法

• 未知画像をDIPモデルでパラメトライズし再構成系列 x^t = G_theta^t(z) を追跡する。
• Ground-truthなしでELTO谷を近似するために最近の再構成のウィンドウ化移動分散(VAR)を定義する。WのウィンドウサイズとPのペイションを用いてVAR曲線の谷を検出してESを実装する。
• Algorithm 1をES-WMV付きのDIPと、指数移動分散(EMV)を用いた省メモリ版のオプションとして提供する。
• ニューラルタンジェントカーネル(NTK)による線形化訓練領域で理論的に手法を正当化し、適切な学習率でVARがU字型の曲線に従うことを示す。
• ウィンドウサイズとペイションの2つのハイパーパラメータに対する頑健性を示し、1回の反復あたりの計算オーバーヘッドが小さいことを論じる。

実験結果

リサーチクエスチョン

• RQ1 中間再構成のランニング分散のみに基づくES基準は、タスク間で近接ピークDIP性能を信頼性高く特定できるか？
• RQ2 提案するES-WMVアプローチは、複数のDIP派生およびノイズタイプ/レベルにわたって頑健かつ効率的か？
• RQ3 ES-WMVは Ground-truthデータなしで、正則化DIP法および暗黙的ニューラル表現の実用的な補助として機能するか？
• RQ4 ES-WMVは検出ギャップと計算コストの点で、既存のESおよびNR-IQMベースのモニタリング法とどう比較されるか？
• RQ5 DIP訓練におけるVAR谷挙動を支える理論的洞察は何か？

主な発見

• ES-WMV法は、画像ノイズ除去およびブラインド画像デブレリングタスクにおいて、PSNR/SSIMの差が小さい状態で近接ピーク性能を検出する。
• 追加の反復オーバーヘッドはDIP更新ステップに比して小さく、ES-WMVは効率的である。
• ES-WMVはDIP-TV、GP-DIP、SIRENを含む複数のDIP派生およびさまざまなノイズタイプ/レベルでも有効性を維持する。
• NR-IQMベースのベースラインは検出ギャップが大きくなることが多い一方で、ES-WMVは Ground-truth なしでピークに近い性能を提供する。
• ES-WMVは正則化DIPモデル（例: DIP-TV、GP-DIP）の補助として性能を改善し、SIRENのような暗黙的ニューラル表現の補助にも寄与できる。
• 本手法はウィンドウサイズとペイションのハイパーパラメータに対して頑健であり、最小限のチューニングでタスクを横断して適用可能である。）