[論文レビュー] L^2UWE: A Framework for the Efficient Enhancement of Low-Light Underwater Images Using Local Contrast and Multi-Scale Fusion

Tunai Porto Marques, Alexandra Branzan Albu|arXiv (Cornell University)|May 27, 2020

Image Enhancement Techniques被引用数 14

ひとこと要約

L2UWEは、大気照明をモデル化するための局所コントラストを活用することで、低照度水中画像のための画期的な単一画像強調フレームワークを提案する。2つの強調出力を生成し、それぞれ細部強調と暗部除去を目的とする。その後、マルチスケール融合により統合することで、可視性、コントラスト、顕著な特徴を向上させつつ、色の忠実性を保持する。7つの最先端手法と比較して7つの指標で優れた性能を示し、UIQM、PCQI、e-score、SURF特徴量の各指標で最高得点を記録した。

ABSTRACT

Images captured underwater often suffer from suboptimal illumination settings that can hide important visual features, reducing their quality. We present a novel single-image low-light underwater image enhancer, L^2UWE, that builds on our observation that an efficient model of atmospheric lighting can be derived from local contrast information. We create two distinct models and generate two enhanced images from them: one that highlights finer details, the other focused on darkness removal. A multi-scale fusion process is employed to combine these images while emphasizing regions of higher luminance, saliency and local contrast. We demonstrate the performance of L^2UWE by using seven metrics to test it against seven state-of-the-art enhancement methods specific to underwater and low-light scenes. Code available at: https://github.com/tunai/l2uwe.

研究の動機と目的

• 不均一な人工照明、吸収、散乱によって引き起こされる低照度水中画像の可視性の低さという課題に対処すること。
• 複数枚の画像や複雑なデータ駆動型モデルに依存せずに、輝度、コントラスト、色の忠実性を向上させる効率的な単一画像強調フレームワークを開発すること。
• 局所コントラストを大気照明推定の代理指標として活用し、正確で計算効率の高い強調を可能とすること。
• 2つのコントラスト誘導型強調出力をマルチスケール融合により統合し、高輝度、顕著、高コントラスト領域を強調すること。
• 標準化された指標とOceanDarkデータセットを用いて、最先端の水中および低照度画像強調技術と比較して本手法の有効性を検証すること。

提案手法

• 局所コントラスト情報から2つの大気照明モデルを導出し、微細なディテールの強調と暗い領域の除去を別々に処理できるようにする。
• 2つの強調画像を生成する。1つはテクスチャおよびエッジの保持を最適化したもの、もう1つは低照度領域の照明を最適化したものである。
• 輝度、顕著性、局所コントラストに基づいて重みが決定されるマルチスケール融合戦略により、2つの出力を統合する。視覚的に重要な領域を優先する。
• 固定された水質タイプの仮定に依存しないように、ダークチャネルプライオリにインspiredされたコントラスト誘導型アプローチを採用し、低照度水中条件に適応させる。
• 融合プロセスではガイドフィルタを用いたマルチスケール分解を採用し、構造的整合性を保持するとともにアーチファクトを低減する。
• 本手法はOceanDarkデータセットと7つの指標（UIQM、PCQI、FADE、GCF、r-score、e-score、SURF特徴量）を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 水質の事前知識がなくても、局所コントラスト情報が低照度水中画像における大気照明モデル化に効果的に利用可能か？
• RQ2 細部保持と暗部除去を分離する2ストリーム強調アプローチは、単一ストリーム手法に比べて優れた結果をもたらすか？
• RQ3 コントラストおよび輝度重み付き出力のマルチスケール統合により、全体的な画像品質が向上し、色の忠実性が保持されるか？
• RQ4 L2UWEは7つの最先端の水中および低照度画像強調手法と比較して、定量的および定性的にどのように優れているか？
• RQ5 提案手法は暗部をどれほど効果的に低減できるか。一方で、過剰強調や色の歪みは発生しないか？

主な発見

• L2UWEはUIQMスコア1.38 ± 0.11を記録し、人間の視覚認識に整合する優れた画像品質を示した。
• PCQIスコア1.17 ± 0.07を記録し、コントラストおよび品質強調の有効性を確認した。
• e-score（1.82 ± 0.83）とSURF特徴量（1856 ± 655）で最高得点を記録し、エッジおよび顕著構造の強調が優れていることを示した。
• r-score（4.61 ± 0.58）が最高を記録し、可視性および低照度領域の照明向上が顕著に改善されたことを示した。
• FADEスコア0.42 ± 0.20が最低を記録し、画像品質の劣化が最小限に抑えられ、ノイズやアーチファクトが減少したことを示した。
• Zhangら[49]のGCFスコアが強くても、定性的な分析では不自然な彩度の強調が見られた。一方、L2UWEはすべての他の指標で優れており、自然な色分布を維持した。