[論文レビュー] Solving Inverse Problems with Hybrid Deep Image Priors: the challenge of preventing overfitting

Zhaodong Sun, Sanchez, Thomas+2 more|arXiv (Cornell University)|Nov 3, 2020

Image and Signal Denoising Methods参考文献 37被引用数 8

ひとこと要約

本稿では、ノイズの多い測定値や過パラメータ化されたネットワークに起因するDeep Image Prior（DIP）の過学習を軽減する目的で、ADMMを用いたハイブリッドディープ画像プライアを提案する。DIPと明示的（例：全変動）または暗黙的（例：ノイズ除去アルゴリズム）のプライアを組み合わせることで、最適化の安定化、ノイズの適合の低減、特に高ノイズレベル下でのより良い再構成が実現される。

ABSTRACT

We mainly analyze and solve the overfitting problem of deep image prior (DIP). Deep image prior can solve inverse problems such as super-resolution, inpainting and denoising. The main advantage of DIP over other deep learning approaches is that it does not need access to a large dataset. However, due to the large number of parameters of the neural network and noisy data, DIP overfits to the noise in the image as the number of iterations grows. In the thesis, we use hybrid deep image priors to avoid overfitting. The hybrid priors are to combine DIP with an explicit prior such as total variation or with an implicit prior such as a denoising algorithm. We use the alternating direction method-of-multipliers (ADMM) to incorporate the new prior and try different forms of ADMM to avoid extra computation caused by the inner loop of ADMM steps. We also study the relation between the dynamics of gradient descent, and the overfitting phenomenon. The numerical results show the hybrid priors play an important role in preventing overfitting. Besides, we try to fit the image along some directions and find this method can reduce overfitting when the noise level is large. When the noise level is small, it does not considerably reduce the overfitting problem.

研究の動機と目的

• 過パラメータ化されたネットワークとノイズの多い測定値に起因するDeep Image Prior（DIP）の過学習問題に対処する。
• DIPと明示的または暗黙的プライア（例：全変動、ノイズ除去アルゴリズム）を組み合わせるフレームワークを構築し、最適化を安定化する。
• ADMMの内部ループに起因する計算負荷を低減しつつ、収束性と再構成品質を維持する。
• 勾配降下法のダイナミクスを解明し、DIPにおける過学習の根本的要因を理解する。
• 主な特徴値ベクトルに沿った方向性適合を探索し、特に高ノイズレベル下でのノイズ適合を抑制する。

提案手法

• DIP出力とプライア制約を含む制約付き最適化問題として逆問題を定式化し、ADMMを用いて交互最小化を実行する。
• 計算負荷を低減するための2つのADMM変種を提案：DIP-ADMM-v1（内部ループあり）とDIP-ADMM-v2（各ステップで正確な最小化）
• ADMMステップにおいて、近接作用素をノイズ除去関数に置き換えることで、暗黙的プライア（例：ノイズ除去アルゴリズム）を統合する。
• 測定行列の特異値分解（SVD）を用い、最も情報量の多い方向（最初のp個の特異ベクトル）に最適化を制限する。
• 早期停止と方向性適合を適用し、特に高ノイズレベル下での過学習を制御する。
• 過パラメータ化のため、DIPのヤコビ行列を近似的に一定とみなして、勾配ダイナミクスの分析に活用する。

実験結果

リサーチクエスチョン

• RQ1 DIPの過学習行動は、PSNR曲線と再構成画像品質の観点でどのように現れるか？
• RQ2 DIPと明示的または暗黙的プライアを組み合わせることで、逆問題における過学習を顕著に低減できるか？
• RQ3 主な特異ベクトルに沿った方向性適合は、ノイズレベルが変化する条件下で過学習にどのように影響するか？
• RQ4 ADMM変種（v1対v2）における計算的トレードオフは何か？v2は内部ループを回避しつつ性能を損なわないか？
• RQ5 勾配降下法のダイナミクス、特にDIPヤコビ行列の特異値は、過学習の発生とどのように関係するか？

主な発見

• 特にノイズ除去アルゴリズムを用いたハイブリッドプライアは、DIPにおける過学習を効果的に抑制し、PSNR曲線が安定的または改善される。
• DIP-ADMM-v2は、内部ループを回避することで正確な最小化を実現し、再構成品質と計算時間の両面でDIP-ADMM-v1を上回る。
• 最初のp個の特異ベクトルに沿った方向性適合は、高ノイズレベル（例：σ = 100）下で過学習を低減するが、低ノイズレベル（例：σ = 25）ではほとんど利点がない。
• DIPのヤコビ行列は、異なる特異ベクトル方向への適合速度を支配する。過学習は、ネットワークが低エネルギー方向のノイズを適合し始めると発生する。
• 過学習は、信号成分が完全に捉え込まれた時点を過ぎて反復回数が増加する際に顕著に現れ、PSNRが一時的なピークを過ぎて低下する。
• 事前学習済みまたは学習可能なノイズ除去器を暗黙的プライアとして用いる方法は、学習済み共分散と平均正則化に依存する手法よりも柔軟かつ効率的である。