[論文レビュー] MetaDIP: Accelerating Deep Image Prior with Meta Learning

Kevin Zhang, Mingyang Xie+4 more|arXiv (Cornell University)|Sep 18, 2022

Advanced X-ray Imaging Techniques被引用数 9

ひとこと要約

MetaDIP はメタラーニングを用いて最適なネットワーク重み初期化を学習することで、画像の逆問題に対する Deep Image Prior (DIP) の処理を高速化し、ノイズ除去、圧縮センシング、圧縮位相再構成の各分野で競争力のある性能を維持しながら、実行時間を最大10倍短縮する。この手法はタスクやデータ分布にわたって一般化可能であり、再トレーニングなしに高速かつ正確な再構成が可能である。

ABSTRACT

Deep image prior (DIP) is a recently proposed technique for solving imaging inverse problems by fitting the reconstructed images to the output of an untrained convolutional neural network. Unlike pretrained feedforward neural networks, the same DIP can generalize to arbitrary inverse problems, from denoising to phase retrieval, while offering competitive performance at each task. The central disadvantage of DIP is that, while feedforward neural networks can reconstruct an image in a single pass, DIP must gradually update its weights over hundreds to thousands of iterations, at a significant computational cost. In this work we use meta-learning to massively accelerate DIP-based reconstructions. By learning a proper initialization for the DIP weights, we demonstrate a 10x improvement in runtimes across a range of inverse imaging tasks. Moreover, we demonstrate that a network trained to quickly reconstruct faces also generalizes to reconstructing natural image patches.

研究の動機と目的

• Deep Image Prior (DIP) の高い計算コストに起因する、1回の再構成に数百〜数千回の最適化反復が必要な問題に対処すること。
• メタラーニングを用いてタスクに依存せず、クラスに依存しない初期化を学習することで、DIPに基づく画像再構成を高速化すること。
• ノイズ除去、圧縮センシング、圧縮位相再構成などの多様な逆問題において、高速で正確かつ一般化可能な再構成を実現すること。
• 顔画像（例：顔）のデータ分布でトレーニングしたメタ学習初期化が、自然画像パッチなどの他のデータ分布に対しても効果的に一般化されることを示すこと。
• 最先端のプラグアンドプレイ手法と同等の性能を達成しながら、はるかに高速でチューニングが簡単であることを実証すること。

提案手法

• MetaDIP は、DIP ネットワーク重みの最適な初期化を学習するため、モデルに依存しないメタラーニング（MAML）を採用し、新しい逆問題に対して迅速な収束を実現する。
• CelebA 顔データセットを用いてノイズ除去タスクの分布でトレーニングし、さまざまな逆問題に一般化可能なメタ初期化を学習する。
• メタ学習で得た初期化は、新たな測定データに対してさらにファインチューニングなしに DIP ネットワークに適用され、勾配降下法による高速最適化が可能になる。
• DIP アーキテクチャは、ランダムな潜在コード入力を伴う完全畳み込みニューラルネットワークであり、観測された測定値と一致するようにネットワーク重みを最適化することで画像再構成を達成する。
• 最適化の目的関数は、測定データとネットワーク出力との L2 ロスを最小化するもので、$ \theta^{*} = \min_{\theta} ||M(f_{\theta}(z)) - y||_2^2 $ と表される。
• 一般化性能は、タスク（ノイズ除去、圧縮センシング、位相再構成）およびデータ（顔、自然画像パッチ）の両方で評価され、メタ初期化の転送可能性が示された。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングを用いて、追加計算を最小限に抑えながら、複数の逆問題において DIP に基づく画像再構成を高速化できるか？
• RQ2 顔画像のノイズ除去でトレーニングしたメタ学習初期化は、自然画像パッチの再構成に対しても効果的に一般化されるか？
• RQ3 圧縮センシングおよび位相再構成において、MetaDIP は通常の DIP や最先端のプラグアンドプレイ手法と比べて、速度と正確性の点で優れているか？
• RQ4 1つのメタ初期化が、線形および非線形の逆問題（圧縮位相再構成を含む）において、競争力のある性能を達成できるか？
• RQ5 テスト時のデータ分布がトレーニング時とは異なる場合でも、メタ学習初期化は頑健で効果的であるか？

主な発見

• MetaDIP は、標準的な DIP と比較して、DIP の推論時間を最大10倍短縮し、128×128 のパッチでは2秒未塔で再構成を達成した。
• 圧縮センシング（$ m/n = 1/4 $）において、顔画像では29.0 dB の PSNR を達成し、自然画像では28.3 dB を達成した。MetaSIREN を上回り、通常の DIP と同等の性能を示したが、はるかに高速であった。
• 圧縮位相再構成（$ m/n = 1/4 $）において、顔画像では29.8 dB、自然画像では28.7 dB の PSNR を達成した。MetaSIREN よりも2.4 dB および3.1 dB 高く、通常の DIP よりも10倍高速であった。
• 顔画像でトレーニングしたメタ学習初期化は、自然画像パッチに対しても効果的に一般化され、圧縮センシングで28.3 dB、位相再構成で28.7 dB の PSNR を達成した。
• MetaDIP は、最先端の手法である DRUNet を用いた PnP ADMM と同等の性能を達成したが、はるかに高速でチューニングが簡単であった。位相再構成においては、PnP ADMM に比べて2倍速かった。
• MetaDIP は強力な一般化性能を示した：ノイズ除去でトレーニングした1つのメタ初期化が、多様な逆問題およびデータ分布にわたって、高速かつ正確な再構成を可能にした。