[論文レビュー] On Measuring and Controlling the Spectral Bias of the Deep Image Prior

Zenglin Shi, Pascal Mettes+2 more|arXiv (Cornell University)|Jul 2, 2021

Photoacoustic and Ultrasonic Imaging被引用数 5

ひとこと要約

本稿では、深層画像プライア（deep image prior）におけるスペクトルバイアス（周波数帯域ごとの学習速度の差）を測定・制御するための周波数帯対応指標を導入する。低周波成分は高周波成分よりも速く、かつよく学習されるため、Lipschitz制御付き畳み込み層とガウス制御付きアップサンプリング層を組み合わせることで、最適化中の性能劣化を防ぎ、自動停止を可能にし、オракル停止基準を必要とせずに、画像のノイズ除去、ブロッキング除去、穴埋め、超解像、詳細強調の分野で最先端の結果を達成する。

ABSTRACT

The deep image prior showed that a randomly initialized network with a suitable architecture can be trained to solve inverse imaging problems by simply optimizing it's parameters to reconstruct a single degraded image. However, it suffers from two practical limitations. First, it remains unclear how to control the prior beyond the choice of the network architecture. Second, training requires an oracle stopping criterion as during the optimization the performance degrades after reaching an optimum value. To address these challenges we introduce a frequency-band correspondence measure to characterize the spectral bias of the deep image prior, where low-frequency image signals are learned faster and better than high-frequency counterparts. Based on our observations, we propose techniques to prevent the eventual performance degradation and accelerate convergence. We introduce a Lipschitz-controlled convolution layer and a Gaussian-controlled upsampling layer as plug-in replacements for layers used in the deep architectures. The experiments show that with these changes the performance does not degrade during optimization, relieving us from the need for an oracle stopping criterion. We further outline a stopping criterion to avoid superfluous computation. Finally, we show that our approach obtains favorable results compared to current approaches across various denoising, deblocking, inpainting, super-resolution and detail enhancement tasks. Code is available at \url{https://github.com/shizenglin/Measure-and-Control-Spectral-Bias}.

研究の動機と目的

• 深層画像プライアにおけるスペクトルバイアス（低周波成分が高周波成分よりも容易に学習される現象）を理解し、定量的に測定すること。
• ネットワークアーキテクチャの選択を超えて、深層画像プライアに対する制御の欠如を是正すること。
• 高周波ノイズへの過学習を防ぐことで、最適化中の性能劣化を回避すること。
• 不要な計算を避けるために、信頼性の高い自動停止基準を確立すること。
• 複数の逆問題画像処理タスクにおける収束速度と修復品質を向上させること。

提案手法

• 最適化中の異なる周波数帯の学習速度を比較することで、スペクトルバイアスを定量的に測定するための周波数帯対応指標を導入する。
• 勾配の流れを制限し、高周波成分へのフィッティングを抑えることで、訓練を安定化させるLipschitz制御付き畳み込み層を提案する。
• 調整可能なスムージングを可能にし、周波数応答と収束速度のバランスを取ることを可能にするガウス制御付きアップサンプリング層を導入する。
• さらに最適化の安定化と一般化性能の向上を図るため、Lipschitz制約を課した修正版バッチ正規化層を採用する。
• スペクトルバイアスのモニタリングに基づく自動停止基準を設計し、オラクル監視なしにピーク性能で最適化を停止可能にする。
• 画像強調タスクにおける滑らかさを制御するための調整可能なハイパーパrameter（例：式(5)におけるλ）を用い、固定5,000イテレーションで実行する。

Figure 1: Frequency-band correspondence metric. The left image shows an example of correspondence map $H$ , which is computed according to Eq. ( 1 ). We divide the correspondence map into $N$ subgroups corresponding to $N$ non-overlapping frequency bands. Since the correspondence map is symmetrical

実験結果

リサーチクエスチョン

• RQ1 最適化過程における深層画像プライアにおけるスペクトルバイアスはどのように現れるのか？ また、定量的に測定可能か？
• RQ2 アーキテクチャの変更によってスペクトルバイアスを制御可能か？ これにより性能劣化を防げるか？
• RQ3 オラクル停止基準に依存せずに、高周波ノイズへの過学習に対して頑健な深層画像プライアを実現できるか？
• RQ4 スペクトル挙動に基づく自動停止基準を設計することで、無駄な計算を削減できるか？
• RQ5 スペクトルバイアスの制御が、多様な逆問題画像処理タスクにおいて性能向上に寄与するか？

主な発見

• ノイズ除去タスクにおいて、Set14データセットでPSNR 32.76を達成し、Ulyanovら（2020年）およびLapSRNの先行手法を上回った。
• 8倍拡大の超解像タスクでは、PSNR 30.45を達成し、LapSRNによる従来の最先端の28.54を上回った。
• 最適化中における性能劣化が完全に排除され、オラクル停止を必要とせず、ピーク性能を維持した。
• 自動停止基準は、不要な計算を効果的に削減しながら、高品質な結果を維持できた。
• 画像強調タスクでは、λハイパーパrameterの調整によりシャープニング強度を精密に制御でき、一貫した詳細強調が可能になった。
• 高ノイズレベル（σ=100）では、低周波領域でノイズと自然画像のパワースペクトルが重複するため、周波数分離が困難となり、失敗が発生した。

Figure 2: Network architectures used in the experiments of Section 3 . The Encoder-Decoder is the same as the one used in Ulyanov et al. ( 2020 ) . Specifically, the encoder contains five convolution blocks. Each block contains two convolution layers with the kernel size of $3\times 3$ and the chann