[論文レビュー] Jointly Adversarial Network to Wavelength Compensation and Dehazing of Underwater Images

Xueyan Ding, Yafei Wang+4 more|arXiv (Cornell University)|Jul 12, 2019

Image Enhancement Techniques参考文献 43被引用数 15

ひとこと要約

本稿では、生成的敵対ネットワークに簡略化された水中画像形成モデルを組み込み、同時に波長補償と除霧を実行する共同敵対的ネットワーク（JWCDN）を提案する。マルチスケールの密接接続型エンコーダーデコーダーと勾配保持損失を用いて、透過率マップ、波長減衰、背景光を共同で推定し、合成および実世界のデータセットで最先端の結果を達成した。

ABSTRACT

Severe color casts, low contrast and blurriness of underwater images caused by light absorption and scattering result in a difficult task for exploring underwater environments. Different from most of previous underwater image enhancement methods that compute light attenuation along object-camera path through hazy image formation model, we propose a novel jointly wavelength compensation and dehazing network (JWCDN) that takes into account the wavelength attenuation along surface-object path and the scattering along object-camera path simultaneously. By embedding a simplified underwater formation model into generative adversarial network, we can jointly estimates the transmission map, wavelength attenuation and background light via different network modules, and uses the simplified underwater image formation model to recover degraded underwater images. Especially, a multi-scale densely connected encoder-decoder network is proposed to leverage features from multiple layers for estimating the transmission map. To further improve the recovered image, we use an edge preserving network module to enhance the detail of the recovered image. Moreover, to train the proposed network, we propose a novel underwater image synthesis method that generates underwater images with inherent optical properties of different water types. The synthesis method can simulate the color, contrast and blurriness appearance of real-world underwater environments simultaneously. Extensive experiments on synthetic and real-world underwater images demonstrate that the proposed method yields comparable or better results on both subjective and objective assessments, compared with several state-of-the-art methods.

研究の動機と目的

• 光の吸収と散乱によって引き起こされる水中画像の色ずれと視認性の低下という二重の課題に取り組む。
• 従来の手法が散乱または吸収のいずれかのプロセスにのみ着目しているのを克服し、物理的プロセスを同時にモデル化する。
• 固有の光学的特性に基づく新しい水中画像合成手法を開発し、さまざまな水質における現実的な劣化をシミュレートする。
• 勾配保持損失とエッジ強化モジュールを用いてエッジやテクスチャを保持することで、画像品質を向上させる。
• 最先端の手法と比較して、主観的および客観的評価の両方で優れた性能を達成する。

提案手法

• 生成的敵対ネットワークの枠組みに簡略化された水中画像形成モデルを埋め込み、専用のネットワークモジュールを用いて透過率マップ、波長減衰、背景光を同時に推定する。
• マルチスケールの密接接続型エンコーダーデコーダーと勾配保持損失を設計し、透過率マップ推定の精度を向上させ、ハローアーティファクトを低減する。
• 微細なディテールを精緻に復元し、回復画像のシャープネスを回復するためのエッジ保持ネットワークモジュールを導入する。
• 吸収係数と散乱係数を用いた固有の光学的特性に基づく新しい水中画像合成手法を提案し、さまざまな水質における現実的な色ずれ、コントラスト低下、ぼやけのシミュレーションを実現する。
• 知覚的損失、敵対的損失、コンテンツ保持損失の組み合わせを用いてネットワークを訓練し、リアルさと構造的忠実性を向上させる。
• 数学的演算モジュールを活用して、物理的画像形成モデルをGANアーキテクチャに直接統合し、エンドツーエンド最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 分離処理よりも、統合的な深層学習フレームワークが水中画像における波長補償と除霧をより効果的に最適化できるか？
• RQ2 表面-物体間パスの減衰と物体-カメラ間パスの散乱の両方をモデル化することで、片方のみをモデル化する手法と比較して、画像回復性能がどのように向上するか？
• RQ3 物理的事前知識を組み込んだGANベースのアプローチが、定量的および定性的な評価の両方で、既存の最先端手法を上回るか？
• RQ4 固有の光学的特性に基づく合成手法が、より現実的な水中画像を生成し、強化ネットワークの訓練と評価をより効果的に行えるか？
• RQ5 マルチスケールの密接接続型エンコーダーデコーダーとエッジ保持モジュールが、透過率マップ推定と最終的な画像品質に果たす寄与度はどの程度か？

主な発見

• RealBデータセットでは、JWCDNが最小のぼやけ具合（0.21473）と最大のUIQM（1.5372）を達成し、比較手法をすべて上回った。
• RealAデータセットでは、JWCDNはぼやけ具合が0.21818、UIQMが1.574と、客観的および主観的品質の両面で優れた性能を示した。
• 除去実験の結果、コンテンツ保持損失を除いた場合（JWCDN-woCL）ではぼやけが増加し、エッジ保持モジュールを除いた場合（JWCDN-woEP）では色ずれと過剰に明るい領域が生じた。
• SyntTestデータセットにおける定量的評価では、JWCDNがPSNR 21.096、SSIM 0.75712、PCQI 0.76362を達成し、主要モジュールを欠落させたバージョンと比較して顕著に優れた性能を示した。
• 提案された水中画像合成手法は、さまざまな水質における現実的な劣化パターンを効果的にシミュレートでき、より強固な訓練と評価を可能にした。
• 視覚的比較により、JWCDNはRetinexベース、GDCP、UDCP、IBLA、UGAN手法と比較して、より鋭いエッジ、より良い色再現、および低減されたハローエフェクトを実現したことが確認された。