[論文レビュー] Real-world Underwater Enhancement: Challenges, Benchmarks, and Solutions

Risheng Liu, Xin Fan+3 more|arXiv (Cornell University)|Jan 15, 2019

Image Enhancement Techniques参考文献 11被引用数 25

ひとこと要約

本稿では、可視性、色補正、物体検出性能を対象とする3つのサブセットに分けられた4,000枚以上の実世界の水中画像からなる大規模なデータセット、Real-world Underwater Image Enhancement (RUIE)ベンチマークを紹介する。このベンチマークでは、11種類の最先端アルゴリズムをこれらのタスクで評価した結果、どの1つの手法も全基準で優れた性能を発揮するとは限らず、UHLP_cbとBCCR_cbが物体検出精度と知覚的品質の両面で優れた結果を示した。

ABSTRACT

Underwater image enhancement is such an important low-level vision task with many applications that numerous algorithms have been proposed in recent years. These algorithms developed upon various assumptions demonstrate successes from various aspects using different data sets and different metrics. In this work, we setup an undersea image capturing system, and construct a large-scale Real-world Underwater Image Enhancement (RUIE) data set divided into three subsets. The three subsets target at three challenging aspects for enhancement, i.e., image visibility quality, color casts, and higher-level detection/classification, respectively. We conduct extensive and systematic experiments on RUIE to evaluate the effectiveness and limitations of various algorithms to enhance visibility and correct color casts on images with hierarchical categories of degradation. Moreover, underwater image enhancement in practice usually serves as a preprocessing step for mid-level and high-level vision tasks. We thus exploit the object detection performance on enhanced images as a brand new task-specific evaluation criterion. The findings from these evaluations not only confirm what is commonly believed, but also suggest promising solutions and new directions for visibility enhancement, color correction, and object detection on real-world underwater images.

研究の動機と目的

• 強化アルゴリズムを評価するための、大規模で多様な実世界の水中画像ベンチマークの不足に対処すること。
• 既存データセットの限界、例えば浅い深度、単調な照明、高レベルのビジョンタスクに不十分な海洋生物の欠如を克服すること。
• 画像品質指標に加えて、下流の物体検出性能への影響も含めた水中画像強化アルゴリズムの評価を行うこと。
• 実世界の水中条件下における可視性向上、色補正、物体検出精度の最適な強化戦略を特定すること。
• 非参照品質評価や水中ビジョンタスクのエンドツーエンド学習フレームワークを含む、新たな評価パラダイムの提唱すること。

提案手法

• 異なる条件下で実世界の水中シーンを撮影できるマルチビューアンダーウォーターイメージングシステムを構築した。
• 4,000枚以上の実世界の水中画像を含むRUIEベンチマークを構築し、3つのサブセット（UIQS：可視性、UCCS：色かぶり、UHTS：物体検出）に分類した。
• UCIQEとUIQMを画像品質指標、mAPと検出数を物体検出指標として用い、11種類の最先端UIEアルゴリズムを複数の指標で評価した。
• 物理的事前知識を畳み込みニューラルネットワーク（CNN）と統合したUHLP_cbとBCCR_cbを含む、深層学習モデルを実世界の画像で訓練および評価した。
• mAPをタスク固有の指標として用い、低レベルの強化と中レベルの検出性能を結びつける統合評価フレームワークを適用した。
• 階層的劣化レベルと多様な水中環境を対象とした体系的なアブレーションスタディを実施し、アルゴリズムのロバストネスを評価した。

実験結果

リサーチクエスチョン

• RQ1 実世界の条件下で、可視性劣化の異なる段階において、既存の水中画像強化アルゴリズムはどのように性能を発揮するか？
• RQ2 多様な水中照明および水質条件下で、強化アルゴリズムは色かぶりをどの程度効果的に是正できるか？
• RQ3 画像品質指標（例：UCIQE、UIQM）と下流の物体検出性能（mAP）の間に強い相関があるか？
• RQ4 どの強化手法が、可視性向上、色補正、物体検出精度の間で最良のトレードオフを達成するか？
• RQ5 実世界の水中画像は、水中ビジョンタスクにおけるエンドツーエンドディープラーニングモデルの訓練データとして効果的か？

主な発見

• どの1つの強化アルゴリズムも全評価基準で最適な性能を発揮するとは限らず、タスク固有の最適化の必要性が示された。
• UHLP_cbとBCCR_cbはUHTSサブセットで最高のmAP（0.726および0.725）を達成し、他の手法に比べて物体検出精度が優れていた。
• UHLP_cbとBCCR_cbはUCIQE（4.28および4.31）とUIQM（10.21および10.18）の点数でも最高を記録し、優れた知覚的品質と画像の明瞭さを示した。
• DCP、CLAHE、Fusion手法は色補正において優れた性能を示し、UHTSデータセットでmAPが0.72以上を記録した。
• UCIQEやUIQMといった画像品質指標とmAPとの間に強い相関は認められず、従来の指標が検出性能を信頼性高く予測できない可能性を示唆した。
• RUIEベンチマークは、現在のアルゴリズムが特に深い水域や濁った水域のような複雑な水中シーンでは困難を抱えていることを明らかにした。これにより、物理モデルの改善と統合学習フレームワークの開発が求められることが示された。