[論文レビュー] Real-world Underwater Enhancement: Challenging, Benchmark and Efficient Solutions.

Risheng Liu, Minjun Hou+2 more|arXiv (Cornell University)|Jan 15, 2019

Image Enhancement Techniques参考文献 46被引用数 5

ひとこと要約

本稿では、劣化度と色ずれのレベルに基づいて階層的に分類された大規模な水中画像を備えた、現実的で大規模なベンチマーク「Realistic Underwater Image Enhancement (RUIE)」データセットを紹介する。非参照品質評価指標を用いて最先端の画像強調アルゴリズムを評価し、強調画像上の物体検出性能を新たなタスク特化型評価基準として提案することで、水中画像強調分野における主な限界と新たな研究方向性を明らかにした。

ABSTRACT

Underwater image enhancement is an important low-level vision task with many applications, and numerous algorithms have been proposed in recent years. Despite the demonstrated success, these results are often generated based on different assumptions using different datasets and metrics. In this paper, we propose a large-scale Realistic Underwater Image Enhancement (RUIE) dataset, in which all degraded images are divided into multiple sub-datasets according to natural underwater image quality evaluation metric and the degree of color deviation. Compared with exiting testing or training sets of realistic underwater scenes, the RUIE dataset contains three sub-datasets, which are specifically selected and classified for the experiment of non-reference image quality evaluation, color deviation and task-driven detection. Based on RUIE, we conduct extensive and systematic experiments to evaluate the effectiveness and limitations of various algorithms, on images with hierarchical classification of degradation. Our evaluation and analysis demonstrate the performance and limitations of state-of-the-art algorithms. The findings from these experiments not only confirm what is commonly believed, but also suggest new research directions. More importantly, we recognize that underwater image enhancement in practice usually serves as the preprocessing step for mid-level and high-level vision tasks. We thus propose to exploit the object detection performance on the enhanced images as a brand-new `task-specific' evaluation criterion for underwater image enhancement algorithms.

研究の動機と目的

• 水中画像強調のための標準的で現実的なベンチマークの欠如に応えるために、多様性に富んだ大規模データセットの構築を目的とする。
• 画像の劣化度と色ずれの度合いの変動を系統立てて評価し、既存の強調アルゴリズムをさまざまな劣化レベルで評価することを目的とする。
• 現実的な水中環境下における現在の最先端アルゴリズムの限界を特定することを目的とする。
• 具体的には、物体検出性能を用いた下流タスクの実行に基づく、より実用的なアルゴリズム評価パラダイムを提案することを目的とする。
• アルゴリズムの挙動を実証的に分析することで、未だ十分に検討されていない研究方向性を明らかにし、今後の研究を導くこと。

提案手法

• RUIEデータセットは、実際の水中画像を収集し、自然な画像品質指標と色ずれの度合いに基づいて3つのサブデータセットに分類することで構築された。
• 画像は劣化の深刻さと色歪みの度合いを制御可能な形で階層的に分類され、評価の制御性が向上した。
• 非参照画像品質評価と下流タスクの物体検出性能を評価指標として用いる包括的な評価フレームワークを構築した。
• 最先端の強調アルゴリズムをRUIEのサブデータセット上で系統立ててテストし、さまざまな劣化レベルにおける性能を分析した。
• 強調画像上の物体検出精度を、実用的価値の代理指標として用い、タスク特化型評価基準を導入した。
• サブデータセット間でのアルゴリズム性能を比較する統計的分析を行い、一貫した失敗モードを同定した。

実験結果

リサーチクエスチョン

• RQ1 最先端の水中画像強調アルゴリズムは、劣化度と色ずれの度合いが異なる条件下でどのように性能を発揮するか？
• RQ2 非参照画像品質指標は、実世界の応用における下流タスク性能とどの程度相関しているか？
• RQ3 現実的で多様な水中画像分布を前提とした評価において、現在の強調アルゴリズムに一貫して見られる限界は何か？
• RQ4 強調画像上の物体検出精度は、水中画像強調のための信頼性があり意味のある評価基準として適切に機能するか？
• RQ5 階層的劣化レベルにわたるアルゴリズム性能の系統的評価から、どのような新たな研究方向性が浮かび上がってくるか？

主な発見

• RUIEデータセットは、既存の強調アルゴリズムが劣化度が異なる条件下でも一般化できないことが判明しており、特に色ずれが著しい場合には顕著である。
• 非参照画像品質指標だけでは、実世界の性能を予測するには不十分であり、下流タスクの精度と強い相関がないことが判明した。
• 特定の強調手法を用いることで、強調画像上の物体検出性能が顕著かつ一貫して向上することが確認され、タスク特化型評価基準としての有効性が裏付けられた。
• 多くの最先端アルゴリズムが、色ずれが著しい画像では性能が低下しており、より強力な色再現技術の開発が求められていることが示された。
• 研究では、現在のアルゴリズムが一部の領域を過剰に強調し、他の領域は不十分に補正する傾向があることが判明し、視覚的品質とタスク性能の不均一さが生じていることが明らかになった。
• RUIEデータセットの階層的分類により、従来見過ごされていた失敗パターンをより洗練された形で分析できるようになった。