[論文レビュー] Towards Quality Advancement of Underwater Machine Vision with Generative Adversarial Networks

Xingyu Chen, Junzhi Yu+4 more|arXiv (Cornell University)|Dec 3, 2017

Image Enhancement Techniques被引用数 7

ひとこと要約

本稿では、フーリエ領域フィルタリングと水中画像に特化した損失関数を備えた新規GANアーキテクチャを用いた、リアルタイムで適応可能な水中画像修復手法2つ——フィルタリングベース修復方式（FRS）とGANベース修復方式（GAN-RS）——を提案する。GAN-RSは、色補正、コントラスト強調、除霧、特徴再構築の各分野で最先端の性能を達成し、品質と速度の両面で従来手法を上回っている。

ABSTRACT

Underwater machine vision has attracted significant attention, but its low quality has prevented it from a wide range of applications. Although many different algorithms have been developed to solve this problem, real-time adaptive methods are frequently deficient. In this paper, based on filtering and the use of generative adversarial networks (GANs), two approaches are proposed for the aforementioned issue, i.e., a filtering-based restoration scheme (FRS) and a GAN-based restoration scheme (GAN-RS). Distinct from previous methods, FRS restores underwater images in the Fourier domain, which is composed of a parameter search, filtering, and enhancement. Aiming to further improve the image quality, GAN-RS can adaptively restore underwater machine vision in real time without the need for pretreatment. In particular, information in the Lab color space and the dark channel is developed as loss functions, namely, underwater index loss and dark channel prior loss, respectively. More specifically, learning from the underwater index, the discriminator is equipped with a carefully crafted underwater branch to predict the underwater probability of an image. A multi-stage loss strategy is then developed to guarantee the effective training of GANs. Through extensive comparisons on the image quality and applications, the superiority of the proposed approaches is confirmed. Consequently, the GAN-RS is considerably faster and achieves a state-of-the-art performance in terms of the color correction, contrast stretch, dehazing, and feature restoration of various underwater scenes. The source code will be made available.

研究の動機と目的

• 実世界の応用を制限する低品質な水中マシンビジョンの持続的課題に対処すること。
• 従来の非適応的または非リアルタイム手法に制限を受けることのない、リアルタイムで適応可能な修復技術を開発すること。
• 色再現性、コントラスト、特徴の明瞭性の向上を通じて、水中シーンの画像品質を改善すること。
• 水中画像修復に特化した損失関数を備えた新規GANアーキテクチャを導入すること。
• 最小限の事前処理と高速な推論を実現することで、実用的かつ迅速な展開を可能にすること。

提案手法

• FRSは、パラメータ探索、フィルタリング、強調の段階を経て、フーリエ領域で水中画像を修復する。
• GAN-RSは、水中インデックス損失とダークチャネルプライア損失を組み合わせたマルチステージ損失戦略を採用したGANフレームワークを用いる。
• 識別器には、画像が水中画像である確率を予測する専用の水中ブランチが含まれる。
• Lab色空間情報とダークチャネルプライアを、生成器の学習をガイドする監視信号として用いる。
• 事前処理ステップを一切必要とせず、エンドツーエンドでリアルタイムに動作する。
• 知覚的および物理的プライアを統合した洗練された損失関数により、修復の忠実度が向上する。

実験結果

リサーチクエスチョン

• RQ1 フーリエ領域フィルタリング手法は、リアルタイム性能を満たしつつ、効果的な水中画像修復を達成できるか？
• RQ2 GANは、最小限の事前知識とリアルタイム推論を満たす水中画像修復にどのように適応できるか？
• RQ3 水中インデックス損失とダークチャネルプライア損失は、色補正とコントラスト強調をどの程度向上できるか？
• RQ4 マルチステージ損失戦略は、水中画像修復のためのGAN訓練を安定化させることができるか？
• RQ5 視覚的品質と計算効率の観点から、本手法は最先端技術と比較してどの程度優れているか？

主な発見

• GAN-RSは、多様な水中シーンにおいて、色補正、コントラストストレッチ、除霧、特徴再構築の分野で最先端の性能を達成した。
• 本手法は、定量的画像品質指標と視覚的忠実度の両面で、従来手法を顕著に上回った。
• GAN-RSは優れたリアルタイム性能を示し、動的水中アプリケーションへの実用的展開を可能にした。
• 水中インデックス損失とダークチャネルプライア損失の統合により、より自然な色再現性と改善されたコントラストが実現した。
• マルチステージ損失戦略は、GAN訓練の安定化に効果的であり、修復品質の向上に寄与した。
• ソースコードは公開される予定であり、再現性の確保とさらなる研究の促進に貢献する。