[論文レビュー] LAFFNet: A Lightweight Adaptive Feature Fusion Network for Underwater Image Enhancement

Hao-Hsiang Yang, Kuan‐Chih Huang+1 more|arXiv (Cornell University)|May 4, 2021

Image Enhancement Techniques参考文献 51被引用数 11

ひとこと要約

LAFFNetは、マルチスケール畳み込みとチャネルアテンションを用いた適応的特徴統合（AFF）モジュールにより、従来のエンコーダ・デコーダ型のダウンサンプリングおよびアップサンプリングを置き換える、軽量でエンド・ツー・エンドで学習可能なCNNを提案する。モデルのパラメータ数は2.5Mから0.15Mに削減され（94％の削減）、EUVPおよびUFO-120データセットで最先端の性能を達成し、サリエンシー検出や深度推定といった下流タスクの性能向上を実現した。

ABSTRACT

Underwater image enhancement is an important low-level computer vision task for autonomous underwater vehicles and remotely operated vehicles to explore and understand the underwater environments. Recently, deep convolutional neural networks (CNNs) have been successfully used in many computer vision problems, and so does underwater image enhancement. There are many deep-learning-based methods with impressive performance for underwater image enhancement, but their memory and model parameter costs are hindrances in practical application. To address this issue, we propose a lightweight adaptive feature fusion network (LAFFNet). The model is the encoder-decoder model with multiple adaptive feature fusion (AAF) modules. AAF subsumes multiple branches with different kernel sizes to generate multi-scale feature maps. Furthermore, channel attention is used to merge these feature maps adaptively. Our method reduces the number of parameters from 2.5M to 0.15M (around 94% reduction) but outperforms state-of-the-art algorithms by extensive experiments. Furthermore, we demonstrate our LAFFNet effectively improves high-level vision tasks like salience object detection and single image depth estimation.

研究の動機と目的

• リソース制約のある海洋ロボットへの統合を念頭に、既存の深層学習ベースの水中画像強調モデルの高い計算コストとメモリ消費量を低減すること。
• パラメータが重いダウンサンプリングおよびアップサンプリング演算に依存する従来のエンコーダ・デコーダアーキテクチャの限界を克服すること。
• 固定された物理的パラメータを仮定せずに、マルチスケール特徴抽出と適応的統合を用いて高い性能を維持する軽量ネットワークの開発。
• 強化された画像の一般化能力を実証し、サリエンシー検出や単一画像からの深度推定といった高レベルビジョンタスクの性能向上を示すこと。

提案手法

• 異なるサイズの複数の畳み込みカーネルを用いて、1つの特徴マップからマルチスケール特徴を抽出する適応的特徴統合（AFF）モジュールを提案する。
• チャネルアテンションを統合し、異なるスケールの特徴マップに動的重みを割り当てることで、特徴の重要度に基づいた適応的統合を可能にする。
• 残差ブロックを採用することで、深層ネットワークにおける学習の安定化と消失勾配問題の緩和を図る。
• 深度分離型やコンact畳み込みを用いるのではなく、すべての畳み込み層のチャネル数を削減することでモデルの複雑さを低減する。
• ダウンサンプリングおよびアップサンプリング操作を一切含まない、U-Netに類似したアーキテクチャを設計し、AFFモジュールと残差モジュールに依存する。
• 強化画像の知覚的品質を向上させるために、目的関数に知覚的損失を組み込む。

実験結果

リサーチクエスチョン

• RQ1 軽量なCNNアーキテクチャは、パラメータ数を大幅に削減しながらも、最先端の水中画像強調性能を達成できるか？
• RQ2 マルチスケール畳み込みとチャネルアテンションを組み合わせた提案された適応的特徴統合（AFF）モジュールは、従来のダウンサンプリングおよびアップサンプリングを効果的に置き換えられるか？
• RQ3 LAFFNetによる強化画像品質の向上は、サリエンシー検出や単一画像からの深度推定といった高レベルビジョンタスクにどの程度寄与するか？
• RQ4 残差学習とチャネルアテンションの組み合わせは、低照度水中画像の修復において性能向上にどの程度寄与するか？
• RQ5 パラメータ効率の良いネットワークは、固定された物理的パラメータを仮定せず、多様な水中画像データセットで高い性能を維持できるか？

主な発見

• LAFFNetは、モデルパラメータ数を2.5Mから0.15Mに削減し、ベースラインモデル比で94％の削減を達成した。
• EUVPデータセットでは、UIQMスコアが3.092を達成し、FUnIE-GAN（2.514）やDeep SESR（2.638）を上回る最先端の性能を示した。
• UFO-120データセットでは、PSNRが28.94、SSIMが0.86を達成し、両方の指標で従来手法を上回った。
• アブレーションスタディの結果、残差モジュールが+2.41 PSNR、AFFモジュールが+0.47 PSNR、知覚的損失がさらに+0.17 PSNRの向上をもたらした。
• LAFFNetで強化された画像は、オリジナル画像やベースラインで強化された画像と比較して、サリエンシー物体検出および単一画像からの深度推定の両方で顕著な性能向上を示した。
• 軽量なアーキテクチャのおかげで、実世界のロボットシステムへの効率的な統合が可能となり、高レベルビジョンパイプラインとの統合を支援した。