[論文レビュー] Self-Validation: Early Stopping for Single-Instance Deep Generative Priors

Taihui Li, Zhong Zhuang+4 more|arXiv (Cornell University)|Oct 23, 2021

Advanced Image Processing Techniques参考文献 42被引用数 10

ひとこと要約

本論文は、画像再構成タスクにおける単一インスタンス深層生成事前分布（SIDGP）の原理的で早期のストップ手法であるSelf-Validationを提案する。再構成画像のオンラインでの深層オートエノードラ（AE）の訓練を行い、再構成品質を監視することで、ベル型曲線のトレンドを用いて近似ピーク性能を検出する。この手法は、複数のSIDGPモデルと逆問題において、任意の早期ストップ法を凌駆する。

ABSTRACT

Recent works have shown the surprising effectiveness of deep generative models in solving numerous image reconstruction (IR) tasks, even without training data. We call these models, such as deep image prior and deep decoder, collectively as single-instance deep generative priors (SIDGPs). The successes, however, often hinge on appropriate early stopping (ES), which by far has largely been handled in an ad-hoc manner. In this paper, we propose the first principled method for ES when applying SIDGPs to IR, taking advantage of the typical bell trend of the reconstruction quality. In particular, our method is based on collaborative training and self-validation: the primal reconstruction process is monitored by a deep autoencoder, which is trained online with the historic reconstructed images and used to validate the reconstruction quality constantly. Experimentally, on several IR problems and different SIDGPs, our self-validation method is able to reliably detect near-peak performance and signal good ES points. Our code is available at https://sun-umn.github.io/Self-Validation/.

研究の動機と目的

• 単一インスタンス深層生成事前分布（SIDGP）のための原理的でない早期ストップ（ES）戦略の欠如に取り組む。画像再構成（IR）においてESは重要であるが、現状は任意の手法にとどまっている。
• 最適化ステップに伴い再構成品質に特徴的なベル型曲線を示すSIDGPにおける過学習の課題を克服する。
• 真の画像や外部データを必要としない自己教師ありでオンラインの検証メカニズムを構築し、ピークに近い性能の信頼できる検出を可能にする。
• 異なるIRタスク（ノイズ除去、スーパーレンダリング、MRI再構成）および異なるSIDGPアーキテクチャ（DIP、DD、SIREN）においても堅牢性を確保する。

提案手法

• SIDGPの最適化中に生成された再構成画像のシーケンスを用いて、オンラインで深層オートエノードラ（AE）を訓練する。
• AEを用いて再構成損失を計算し、画像品質の代理指標としての自己検証信号を形成する。
• 最適化ステップに伴うAEの再構成損失を監視し、過学習の兆候（再構成品質曲線のピークに相当）を検出する。
• AE損失の増加が検出された段階で早期ストップを適用し、モデルがノイズやアーティファクトを学習し始めたことを示す。
• AEの訓練を主なSIDGP最適化ループと統合し、検証信号がリアルタイムで更新されるようにする。
• 2つの主要なハイパーパrameter、忍耐時間（p）とウィンドウサイズ（n）の調整を行い、感度が最小限であることがアブレーションスタディで確認された。

実験結果

リサーチクエスチョン

• RQ1 真の画像を必要とせず、自己教師ありでオンラインの検証メカニズムが、SIDGPベースの画像再構成において最適なストップポイントを信頼性高く検出できるか？
• RQ2 提案手法Self-Validationの性能は、多様な画像再構成タスクとSIDGPアーキテクチャにおいて、任意の早期ストップ法と比較してどうなるか？
• RQ3 忍耐時間（p）とウィンドウサイズ（n）といったハイパーパラメータへの感受性は、異なる再構成設定においてどの程度か？
• RQ4 非線形および線形測定モデル（例：MRI再構成）を含む、さまざまな種類の逆問題に一般化可能か？
• RQ5 SIDGPおよび検証オートエノードラの学習率の変動に対して、この手法はどの程度堅牢か？

主な発見

• Self-Validationは、ノイズ除去、スーパーレンダリング、MRI再構成を含む複数のIRタスクにおいて、近似ピーク性能を信頼性高く検出する。PSNR差（ES-PG）は常に1.0未満、SSIM差（ES-SG）は0.1未満である。
• 9枚の画像を用いたノイズ除去ベンチマークでは、学習率0.001のDIPと学習率0.001のAEを用いた場合、平均ES-PGは0.593、ES-SGは0.043を達成した。
• ハイパーパラメータへの感受性は最小限で、忍耐時間（p）とウィンドウサイズ（n）の性能は、テスト範囲（p ∈ {100, 300, 500, 700, 900}、n ∈ {32, 64, 128, 256, 512}）内で安定したままであった。
• DIPおよびAEの学習率を変更しても、性能の変動はわずかで、ES-PGおよびES-SGは狭い範囲に収束していた（例：すべての設定でES-PG < 1.3）。
• 8倍のアンダーサンプリングを伴うMRI再構成では、真のピークに近いストップポイントを効果的に同定し、高精度な再構成を達成した。
• アブレーションスタディにより、pおよびnの値が大きいほど一般的に検出性能が向上することが確認されたが、中程度の設定でも手法は堅牢であった。