[論文レビュー] An Experimental-based Review of Image Enhancement and Image Restoration Methods for Underwater Imaging

Yan Wang, Wei Song+4 more|arXiv (Cornell University)|Jul 7, 2019

Image Enhancement Techniques参考文献 115被引用数 14

ひとこと要約

本稿では、水中画像のための最先端の画像強調および修復手法について、主観的および客観的指標を用いて、IFMフリーとIFMベースの手法を比較する包括的な実験的評価を提示している。既存手法における主要な限界を特定し、水中画像品質向上に関する今後の研究に向けた実行可能な提言を提供している。

ABSTRACT

Underwater images play a key role in ocean exploration, but often suffer from severe quality degradation due to light absorption and scattering in water medium. Although major breakthroughs have been made recently in the general area of image enhancement and restoration, the applicability of new methods for improving the quality of underwater images has not specifically been captured. In this paper, we review the image enhancement and restoration methods that tackle typical underwater image impairments, including some extreme degradations and distortions. Firstly, we introduce the key causes of quality reduction in underwater images, in terms of the underwater image formation model (IFM). Then, we review underwater restoration methods, considering both the IFM-free and the IFM-based approaches. Next, we present an experimental-based comparative evaluation of state-of-the-art IFM-free and IFM-based methods, considering also the prior-based parameter estimation algorithms of the IFM-based methods, using both subjective and objective analysis (the used code is freely available at https://github.com/wangyanckxx/Single-Underwater-Image-Enhancement-and-Color-Restoration). Starting from this study, we pinpoint the key shortcomings of existing methods, drawing recommendations for future research in this area. Our review of underwater image enhancement and restoration provides researchers with the necessary background to appreciate challenges and opportunities in this important field.

研究の動機と目的

• 水中画像形成モデル（IFM）を用いて、水中画像劣化の根本的要因を分析すること。
• 色のずれやコントラスト低下などの水中特有の損傷に焦点を当てた、既存の画像強調および修復手法を体系的にレビューすること。
• 主観的および客観的評価基準を用いて、最先端のIFMフリーおよびIFMベースの手法を比較評価すること。
• IFMベースの手法における事前知識に基づくパrameter推定技術の性能向上に与える影響を評価すること。
• 現在のアプローチにおける主要な欠陥を特定し、今後の研究方向性を示す根拠に基づいた提言を提供すること。

提案手法

• 著者らは、光の吸収および散乱効果を画像劣化の主な原因としてモデル化するため、水中画像形成モデル（IFM）を用いている。
• 既存手法をIFMフリー（例：ヒストグラム等化、リティナックスベースの手法）とIFMベース（透過率および照度パラメータを解く手法）に分類している。
• IFMベースの手法に関しては、透過率および照度マップを推定するために統計的または物理的事前知識を用いる手法の評価を行っている。
• 実際の水中画像データセットを用いた包括的な実験設定を実施し、定性的（主観的）および定量的（客観的）な評価指標を用いている。
• 評価には公開済みのコードを含めており、手法の再現性およびベンチマークの実施を可能としている。
• 性能は、PSNR、SSIM、および人間の観察者による視覚的検査といった標準的な画像品質指標を用いて評価されている。

実験結果

リサーチクエスチョン

• RQ1 IFMに基づくと、水中環境における画像劣化の主な物理的要因は何か？
• RQ2 異なる劣化度において、IFMフリー手法とIFMベースの手法は、水中画像の品質回復においてどのように比較されるか？
• RQ3 事前知識に基づくパrameter推定技術は、IFMベースの修復手法の性能をどの程度向上させるか？
• RQ4 極度の水中画像劣化に適用した場合、現在の最先端手法にどのような主な限界が見られるか？
• RQ5 実証的結果から、水中画像修復分野における今後の研究を導くために何が導かれるか？

主な発見

• IFMベースの手法は、PSNR や SSIM といった客観的画像品質指標において、IFMフリーの手法を上回っている。特に重度の劣化下で顕著である。
• IFMベースの手法における事前知識に基づくパrameter推定技術は、透過率および照度マップのモデリングをより正確にすることで、修復精度を顕著に向上させている。
• 主観的評価では、一部のIFMフリー手法が視覚的に魅力的な結果を生み出すが、しばしば色ずれやハロ効果を引き起こしていることが判明した。
• IFMフリー手法は極度の劣化に特に敏感であり、高濁度下では構造的詳細を保持できない。
• 本研究では、多様な水中環境における一般化の欠如が、現在の手法における主要な限界であると特定した。
• 著者らは、今後の研究は、物理的整合性と一般化能力を向上させた、強固でデータ駆動型のIFMベースのモデルに注力すべきだと結論づけている。