[論文レビュー] A Benchmark dataset for both underwater image enhancement and underwater object detection

Long Chen, Lei Tong+6 more|arXiv (Cornell University)|Jun 29, 2020

Image Enhancement Techniques参考文献 32被引用数 7

ひとこと要約

本稿では、ペアドRAW画像、高品質な参照画像、および物体検出バウンディングボックスを備えた大規模な水中ベンチマーク、OUCデータセットを紹介する。主観的知覚と客観的画像品質指標を組み合わせることで、水中画像強調（UIE）手法の下流の物体検出性能に対する包括的な評価を可能にする信頼性の高い参照画像を生成した。その結果、リチネックスベースの強調が最も高い検出mAP（87.2）を達成したことが明らかになった。

ABSTRACT

Underwater image enhancement is such an important vision task due to its significance in marine engineering and aquatic robot. It is usually work as a pre-processing step to improve the performance of high level vision tasks such as underwater object detection. Even though many previous works show the underwater image enhancement algorithms can boost the detection accuracy of the detectors, no work specially focus on investigating the relationship between these two tasks. This is mainly because existing underwater datasets lack either bounding box annotations or high quality reference images, based on which detection accuracy or image quality assessment metrics are calculated. To investigate how the underwater image enhancement methods influence the following underwater object detection tasks, in this paper, we provide a large-scale underwater object detection dataset with both bounding box annotations and high quality reference images, namely OUC dataset. The OUC dataset provides a platform for researchers to comprehensive study the influence of underwater image enhancement algorithms on the underwater object detection task.

研究の動機と目的

• 高品質な参照画像と物体検出用バウンディングボックスの両方を含む、公開可能な水中データセットの不足に対処すること。
• 水中画像強調（UIE）アルゴリズムがその後行う水中物体検出（UOD）性能に与える影響を調査すること。
• 人間の知覚と客観的画像品質指標を統合した、高品質な参照画像を生成する強固な手法を開発すること。
• フルリファレンス画像品質評価と検出精度を用いて、最先端のUIEおよびUODアルゴリズムの包括的評価プラットフォームを提供すること。
• 非リファレンス指標にとどまらず、画像強調の品質と下流の検出性能の関係を解明すること。

提案手法

• 主観的知覚（被験者投票を用いて）と客観的画像品質指標（MSE、PSNR、SSIM、PCQI）を組み合わせたハイブリッドな参照画像生成手法を提案する。
• 1,198組の水中画像ペアに対して11種類の異なるUIEアルゴリズムの結果を被験者に評価させ、合計3,698枚の参照画像を収集した。
• 被験者間の合意度が最も高い（過半数の賛同を得た）画像を最終的な参照画像として選定し、知覚的品質と一貫性を確保した。
• OUCデータセット上でUIE性能を定量的に評価するために、フルリファレンス画像品質指標（MSE、PSNR、SSIM、PCQI）を用いた。
• Retinex、Fusion、Two-step、GDCPなどの複数のUIEアルゴリズムをOUCデータセットで訓練・評価し、それらが物体検出mAPに与える影響を比較した。
• データセットを2,500枚の学習用および1,198枚のテスト用画像ペアに分割し、すべての画像を512×512にリサイズして一貫性のある評価を実施した。

実験結果

リサーチクエスチョン

• RQ1 異なる水中画像強調（UIE）アルゴリズムは、水中物体検出器の性能にどのように影響を与えるか？
• RQ2 水中環境下で、フルリファレンス画像品質指標（例：PSNR、SSIM）と検出精度（mAP）の関係は何か？
• RQ3 高品質な参照画像ベンチマーク上で評価した場合、どのUIE手法が最も知覚的に正確かつ検出最適化された結果を生み出すか？
• RQ4 物理モデルに基づく手法と非物理的モデルに基づく手法は、赤、緑、青が支配的となる多様な水中照明条件に対し、どのように対処するか？
• RQ5 人間の知覚と客観的指標を統合したハイブリッドな参照画像生成手法は、単独での主観的または客観的手法に比べ、より信頼性が高く一貫性のある参照画像を生成できるか？

主な発見

• OUCデータセットには、RAW水中画像、高品質な参照画像、および対応するバウンディングボックスアノテーションを備えた1,198組のテスト画像ペアが含まれている。
• リチネックスベースの強調が、OUCデータセット上で最も高い平均平均精度（mAP）87.2を達成し、他のUIE手法を上回った。
• Fusionベースの強調が、MSE（0.2816）、PSNR（28.5319）、PCQI（0.8940）で最高スコアを記録し、優れたフルリファレンス画像品質を示した。
• SSIMスコアでは、リチネックス（0.8886）とFusion（0.8794）が参照画像と最も構造的に類似した結果を生成した。
• 物理モデルに基づく手法（回帰、ヒストグラム）は、それぞれ青みがかった色調、緑みがかった色調の著しい色の歪みを引き起こした。一方、Two-step手法はコントラストを過剰に強調し、不自然な出力を生成した。
• 1つのUIE手法がすべての照明条件下で優れた性能を発揮するとは限らず、例えばUDCPはシーンに応じて赤みや青みの色かぶりを生じる。Blurrinessは赤が支配的なシーンでは色かぶりを是正できなかった。