[論文レビュー] A Two-branch Neural Network for Non-homogeneous Dehazing via Ensemble Learning

Yankun Yu, Liu Huan+4 more|arXiv (Cornell University)|Apr 18, 2021

Image Enhancement Techniques参考文献 41被引用数 5

ひとこと要約

本稿では、限られた学習データ下での非一様な画像の霞消しに、転移学習とデータ固有の特徴学習を組み合わせた二本のブランチを持つニューラルネットワークを提案する。ImageNetで事前学習されたRes2Netブランチと、ランダムに初期化されたRCANベースのブランチからの特徴を、学習可能な融合ヘッドで統合することで、NTIRE2021を含む小規模な実世界の霞消しベンチマークで最先端の性能を達成した。PSNRは21.0183、SSIMは0.8370を記録した。

ABSTRACT

Recently, there has been rapid and significant progress on image dehazing. Many deep learning based methods have shown their superb performance in handling homogeneous dehazing problems. However, we observe that even if a carefully designed convolutional neural network (CNN) can perform well on large-scaled dehazing benchmarks, the network usually fails on the non-homogeneous dehazing datasets introduced by NTIRE challenges. The reasons are mainly in two folds. Firstly, due to its non-homogeneous nature, the non-uniformly distributed haze is harder to be removed than the homogeneous haze. Secondly, the research challenge only provides limited data (there are only 25 training pairs in NH-Haze 2021 dataset). Thus, learning the mapping from the domain of hazy images to that of clear ones based on very limited data is extremely hard. To this end, we propose a simple but effective approach for non-homogeneous dehazing via ensemble learning. To be specific, we introduce a two-branch neural network to separately deal with the aforementioned problems and then map their distinct features by a learnable fusion tail. We show extensive experimental results to illustrate the effectiveness of our proposed method.

研究の動機と目的

• 大気散乱モデルでは難易度の高い、不均一に分布する霞の除去に挑戦する。
• NH-Haze 2021のような実世界の霞消しデータセット（25対の学習データのみ）で生じる過学習問題を克服する。
• 既存のCNNベースの手法が一般化能力に欠け、色の歪みを引き起こすため、複雑な実世界のシーンにおける霞消し性能を向上させる。
• 事前学習された特徴（転移学習）とデータ固有の特徴学習を組み合わせることで、耐障害性と視覚的質を向上させる有効性を示す。

提案手法

• 本手法は二本のブランチを持つニューラルネットワークを採用する。一方のブランチはImageNetで事前学習されたRes2Netモデルを用い、過学習を軽減し、強力な初期特徴を提供する。
• もう一方のブランチは、限られた霞消しデータセットからデータ固有の表現を学習するため、事前学習なしで訓練を開始する残差チャネル注意ネットワーク（RCAN）である。
• 両ブランチからの特徴は連結され、それらを最終の霞消し画像出力へマッピングする学習可能な融合ヘッドを経由する。
• 色の忠実性と構造的詳細を保持するために、知覚的損失と再構成損失の組み合わせを用いて、エンドツーエンドでネットワークを訓練する。
• NTIRE2020データセットにガンマ補正（0.65）を適用し、NTIRE2021の追加学習データとして使用することでドメインシフトを低減する。
• Adam最適化法と学習率スケジューリングを用いた標準的な深層学習訓練プロトコルでモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 転移学習とデータ固有の特徴学習を組み合わせた二本のブランチを持つニューラルネットワークアーキテクチャが、限られた学習データ下での非一様な霞消しで、既存手法を上回る性能を示せるか？
• RQ2 ImageNetでの事前学習は、小規模な実世界の霞消しデータセットにおける過学習の低減と一般化能力の向上にどの程度有効か？
• RQ3 異なる特徴表現（事前学習済みとデータ固有）のアンサンブル学習は、霞消し画像における視覚的質と構造的忠実度をどの程度向上させるか？
• RQ4 本手法は、実世界および合成ベンチマークにおいて、PSNR、SSIM、視覚的質の観点から最先端手法と比較してどの程度優れているか？

主な発見

• 提案手法はNTIRE2021のテストセットでPSNR 21.0183、SSIM 0.8370を達成し、FFA、TDN、GCANetを含むすべてのベースライン手法を上回った。
• RESIDE(ITS)データセットでは、比較対象のすべての手法と比べて最高のPSNRとSSIMを記録し、合成データおよび実世界データへの強い一般化能力を示した。
• 視覚的結果から、他の手法と比較して色の忠実性と物体の細部がよりよく保持されており、特に挑戦的な実世界シーンにおける青いゲートの復元が最も正確であった。
• パラメータ数が5000万と多いにもかかわらず、特徴抽出パスでの効率的なダウンサンプリングにより、TDN（0.112s）やFFA（0.561s）よりも高速な推論速度（1枚あたり0.089s）を達成した。
• アブレーションスタディの結果、ImageNetでの事前学習が小規模データセットにおける性能向上に顕著に寄与することが確認され、事前学習ありのTDNが同様のモデルで事前学習なしの場合を上回る優れた結果を示した。
• 事前学習済み特徴とデータ固有特徴の融合は、複雑な霞のパターンや色の歪みが強い領域において、より耐障害性が高く、視覚的に快適な結果をもたらした。