[論文レビュー] Underwater Image Haze Removal and Color Correction with an Underwater-ready Dark Channel Prior

Tomasz Łuczyński, Andreas Birk|arXiv (Cornell University)|Jul 11, 2018

Image Enhancement Techniques参考文献 16被引用数 9

ひとこと要約

本稿では、バックストリートによる青緑色の色相シフトを用いて大気光の推定を再定義することにより、水中環境に適応したダークチャネルプライオリティ（DCP）法を提案する。この手法は、多様な海洋環境からの実世界データにおいて、既存のDCP適合手法を上回り、困難な照明条件や水質の変動にもかかわらず、頑健なステレオビジョンと向上したシーン認識を可能にする。

ABSTRACT

Underwater images suffer from extremely unfavourable conditions. Light is heavily attenuated and scattered. Attenuation creates change in hue, scattering causes so called veiling light. General state of the art methods for enhancing image quality are either unreliable or cannot be easily used in underwater operations. On the other hand there is a well known method for haze removal in air, called Dark Channel Prior. Even though there are known adaptations of this method to underwater applications, they do not always work correctly. This work elaborates and improves upon the initial concept presented in [1]. A modification to the Dark Channel Prior is proposed that allows for an easy application to underwater images. It is also shown that our method outperforms competing solutions based on the Dark Channel Prior. Experiments on real-life data collected within the DexROV project are also presented, showing the robustness and high performance of the proposed algorithm.

研究の動機と目的

• バックストリートと色相シフトが性能を低下させる水中画像における、既存のダークチャネルプライオリティ（DCP）適合手法の限界を解消すること。
• 標準的なDCP手法が水中条件下で不正確な大気光推定により信頼性を失う問題を克服すること。
• DCPのコアフレームワークを維持しつつ、水中のバックストリート特性に適合させるために大気光推定のみを変更する手法を開発すること。
• 可動するROVなどの動的水中作業に適応するため、可視性や水質の変動にかかわらず頑健な性能を発揮できるようにすること。
• 実際の水中シナリオにおいて、3Dステレオ再構築や物体認識などの後続タスクにおける画像の有用性を顕著に向上させること。

提案手法

• バックストリートが強い領域における青緑色の色相シフトを用いて、大気光Aの推定を再定義することで、ダークチャネルプライオリティを水中用に適合させる。
• 高いバックストリート強度が青緑色の彩度の増加と相関することを観察し、これによりシーン構造を保持する形でAの選定をガイドする。
• 透過率推定と画像修復のための元のDCPフレームワークを維持し、コアアルゴリズムへの複雑な変更を避ける。
• 一様な深さの領域において局所的なホワイトバランス補正を適用し、特に物体エッジ付近での色歪みを最小限に抑える。
• DexROVプロジェクトおよび考古学的遺跡からの実際の水中画像データを用いて、多様な環境条件下での手法の妥当性を検証する。
• 地中海およびイアドリア海の実映像シーケンスに手法を適用し、水の濁りや色調の変動にわたる頑健性をテストする。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的なダークチャネルプライオリティ適合手法は、強いバックストリートと色相シフトを示すシーンにおいて水中環境で失敗するのか？
• RQ2 ダークチャネルプライオリティにおける大気光推定は、水中バックストリートの特異なスペクトル特性をどのように修正できるか？
• RQ3 コアDCPフレームワークを変更せずに、多様な水中条件下で信頼性のあるホエイル除去と色補正を達成できる修正DCP手法は可能か？
• RQ4 提案手法は、実際の水中ROV作業における3Dステレオ再構築などの後続タスクのための画像品質をどの程度向上させるか？
• RQ5 水の透明度、深さ、スペクトル特性が異なる実世界データにおいて、既存の最先端手法と比較して、本手法はどの程度の性能を示すか？

主な発見

• 提案手法は、生の水中映像におけるシーンの可視性を顕著に向上させ、工具のメッシュやROVマockアップのロゴといった微細な構造的詳細の認識を可能にした。
• 地中海のROVケージデータセットにおいて、補正後の画像は、生の映像ではほとんど見えなかった距離でもケージを明確に識別可能にした。
• アドリア海のグナリック沈没船遺跡において、生の画像でははっきりと見えなかった金属メッシュの詳細（工具箱に付着）が、補正後は明確に判明した。
• 本手法は、強い緑がかった水質条件に対しても頑健であり、DexROVマockアップデータセットにおいても色再現性を保持し、詳細を強化した。
• エッジ部や過露出領域にわずかな色アーチファクトが生じるものの、補正後の画像は生の映像と比較して、特にステレオ処理においてははるかに多くの有用な情報を提供した。
• 実世界の試験において、既存のDCP適合手法を上回り、信頼性の高い画像品質が不可欠な動的水中作業に有効であることが実証された。