[論文レビュー] MetaUE: Model-based Meta-learning for Underwater Image Enhancement

Zhenwei Zhang, Haorui Yan+2 more|arXiv (Cornell University)|Mar 12, 2023

Image Enhancement Techniques被引用数 7

ひとこと要約

本稿では、物理的画像形成モデルを踏まえたモデルベースのメタラーニングフレームワークであるMetaUEを提案する。この手法は、合成水中データを用いたメタラーニングによる事前学習と、実際のデータセットでの微調整を通じて、綿密に清澄画像、透過率マップ、バックグラウンド光を同時に推定する。多彩な水中環境条件下でも優れた汎化性能と性能を発揮し、UIEBおよびEUVPベンチマークにおいて、PSNRおよびSSIMの両面で最先端手法を上回る結果を得た。

ABSTRACT

The challenges in recovering underwater images are the presence of diverse degradation factors and the lack of ground truth images. Although synthetic underwater image pairs can be used to overcome the problem of inadequately observing data, it may result in over-fitting and enhancement degradation. This paper proposes a model-based deep learning method for restoring clean images under various underwater scenarios, which exhibits good interpretability and generalization ability. More specifically, we build up a multi-variable convolutional neural network model to estimate the clean image, background light and transmission map, respectively. An efficient loss function is also designed to closely integrate the variables based on the underwater image model. The meta-learning strategy is used to obtain a pre-trained model on the synthetic underwater dataset, which contains different types of degradation to cover the various underwater environments. The pre-trained model is then fine-tuned on real underwater datasets to obtain a reliable underwater image enhancement model, called MetaUE. Numerical experiments demonstrate that the pre-trained model has good generalization ability, allowing it to remove the color degradation for various underwater attenuation images such as blue, green and yellow, etc. The fine-tuning makes the model able to adapt to different underwater datasets, the enhancement results of which outperform the state-of-the-art underwater image restoration methods. All our codes and data are available at \url{https://github.com/Duanlab123/MetaUE}.

研究の動機と目的

• 多様な劣化要因を有する実際の水中画像データセットが限られているという課題に対処すること。
• 従来のディーブラーニングモデルがしばしば失敗する未知の水中環境における汎化性能の向上。
• 物理的水中画像形成モデルとメタラーニングを統合し、解釈可能性と耐障害性を向上させること。
• さまざまな水中シナリオに汎化可能な事前学習モデルを開発し、特定の実世界データセットに微調整可能にする。

提案手法

• 本手法は、物理的水中画像形成モデルに基づき、清澄画像、バックグラウンド光、透過率マップの3つの要素を推定する多変数畳み込みニューラルネットワークを採用する。
• 物理的モデルの制約を巧みに統合するため、効率的な損失関数を設計した。
• 多様な合成水中データセット上でメタラーニングを用いて事前学習することで、劣化タイプにわたる共有事前知識を学習する。
• 実際の水中データセット上で事前学習モデルを微調整し、特定の環境特性に適応させる。
• 各変数のための別個のヘッドを備えたUNetベースのバックボーンを採用し、物理的一致性を保った連合最適化を可能にする。
• 視覚的品質と現実性を向上させるために、知覚的損失、 adversarial 損失、再構成損失の組み合わせを用いてエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 モデルベースのメタラーニング手法は、青、緑、黄色の減衰といった多様な水中画像劣化タイプに、効果的に汎化可能か？
• RQ2 メタラーニングによる合成データ上での事前学習は、実際の水中データセットへのゼロショットおよび少数ショット適応をどのように向上させるか？
• RQ3 物理的水中画像形成モデルを組み込むことで、純粋にデータ駆動の手法と比較して、解釈可能性と性能がどの程度向上するか？
• RQ4 清澄画像、透過率マップ、バックグラウンド光の連合推定は、独立的または簡略化された推定と比較して、より優れた修復をもたらすか？
• RQ5 事前学習モデルは、はっきりとしたホワイトアウト、低照度、砂嵐といった水中以外の劣化タイプに対しても汎化可能か？

主な発見

• UIEBデータセットにおいて、MetaUEはPSNR 22.01、SSIM 0.8609を達成し、ベースラインのPlain UNet（PSNR 17.54、SSIM 0.8125）およびMeta UNet（PSNR 21.12、SSIM 0.8054）を上回った。
• EUVPデータセットでは、MetaUEが22.12 PSNRおよび0.8322 SSIMを達成し、両方のベースライン（Plain UNet：PSNR 18.76、SSIM 0.8239；Meta UNet：PSNR 21.24、SSIM 0.8211）を上回った。
• 事前学習モデルは、ゼロショットでの汎化性能が強く、未確認の水中シナリオにおいても色の劣化を効果的に除去し、照明を回復した。
• 微調整により、現実性と実世界の水中データセットへの適応性が顕著に向上し、ドメイン特化適応の有効性が確認された。
• はっきりとしたホワイトアウト、低照度、砂嵐といった水中以外の劣化タイプに対しても、モデルの汎化性能が高く、[4]のRank1プライオリティ手法を視覚的および定量的両面で上回った。
• 視覚的および残差解析により、バックグラウンド光および透過率マップの正確な推定が確認され、正解と予測された清澄画像との間に最小限の誤差が生じた。