[論文レビュー] Recurrent Squeeze-and-Excitation Context Aggregation Net for Single Image Deraining

Xia Li, Jianlong Wu+3 more|ArXiv.org|Jul 16, 2018

Image Enhancement Techniques参考文献 30被引用数 29

ひとこと要約

本論文は、膨張畳み込みを用いて受容 field を指数関数的に拡大することで、複数段階に分けて雨縞の除去を実行する、再帰的 squeeze-and-excitation フレームワークを備えた単一画像除雨用の RESCAN を提案する。squeeze-and-excitation ブロックを統合して雨縞層の重みを適応的に調整し、再帰的ニューラルネットワークを用いて段階間で有用な情報を保持・伝搬することで、合成データおよび実世界データの両方で最先端の性能を達成し、すべての指標で従来手法を上回る PSNR および SSIM を達成した。

ABSTRACT

Rain streaks can severely degrade the visibility, which causes many current computer vision algorithms fail to work. So it is necessary to remove the rain from images. We propose a novel deep network architecture based on deep convolutional and recurrent neural networks for single image deraining. As contextual information is very important for rain removal, we first adopt the dilated convolutional neural network to acquire large receptive field. To better fit the rain removal task, we also modify the network. In heavy rain, rain streaks have various directions and shapes, which can be regarded as the accumulation of multiple rain streak layers. We assign different alpha-values to various rain streak layers according to the intensity and transparency by incorporating the squeeze-and-excitation block. Since rain streak layers overlap with each other, it is not easy to remove the rain in one stage. So we further decompose the rain removal into multiple stages. Recurrent neural network is incorporated to preserve the useful information in previous stages and benefit the rain removal in later stages. We conduct extensive experiments on both synthetic and real-world datasets. Our proposed method outperforms the state-of-the-art approaches under all evaluation metrics. Codes and supplementary material are available at our project webpage: https://xialipku.github.io/RESCAN .

研究の動機と目的

• 強い雨の状況における単一画像除雨の課題に取り組むこと。この状況では、雨縞の方向、形状、透明度が多様に変動する。
• 膨張率が指数関数的に増加する膨張畳み込みを用いて、大きな受容 field を活用することで、文脈的特徴の学習を向上させること。
• squeeze-and-excitation ブロックによる適応的注意重みの割り当てにより、雨縞の階層的かつ重複する性質をモデル化すること。
• 再帰的ニューラルネットワークを統合して段階間の時系列的依存関係を捉え、以前の段階からの有用な情報を保持・伝搬すること。
• 合成データおよび実世界データの両方の除雨ベンチマークで、既存の最先端手法を上回ること。

提案手法

• ネットワークは複数段階にわたり雨縞除去を処理し、各段階で膨張畳み込みに基づく文脈集約ネットワーク（SCAN）を用いて、前の段階の出力を段階的に精錬する。
• 受容 field を拡大するために、膨張率が指数関数的に増加する（例：1, 2, 4, 8, 16, 32, 64）膨張畳み込みが使用される。これにより、ネットワークの深さを増さずに受容 field を拡大できる。
• 各畳み込み層の後に squeeze-and-excitation（SE）ブロックを挿入し、チャネルごとの注意重み（alpha 値）を学習することで、強度や透明度に基づいて特定の雨縞層を強調または抑制する。
• 段階間で再帰的ニューラルネットワークユニット（ConvRNN、ConvLSTM、ConvGRU）を統合し、隠れ状態を維持・伝搬することで、初期段階から最終段階への情報伝達を可能にする。
• 再帰モジュールでは、完全な予測フレームワークが使用され、隠れ状態が現在の入力と前の隠れ状態の両方に基づいて更新され、特徴の精錬が向上する。
• 独立した雨縞層を別々のチャネルとして扱うため、基本ネットワークからバッチ正規化を削除して、相互干渉を回避する。

実験結果

リサーチクエスチョン

• RQ1 方向や強度が異なる重複する雨縞層をモデル化するマルチステージ除雨フレームワークは、単一段階手法に比べて優れた性能を達成できるか？
• RQ2 視覚的特性（強度、透明度など）に基づいて、squeeze-and-excitation メカニズムが異なる雨縞層に適応的に重みを割り当てる効果はどの程度か？
• RQ3 段階間で再帰的ネットワークを統合することで、過去の段階からの有用な情報を保持・活用でき、性能が向上するか？
• RQ4 異なる再帰ユニット（ConvRNN、ConvLSTM、ConvGRU）は、除雨性能および安定性の観点でどのように比較されるか？
• RQ5 指数関数的に増加する膨張率を有する文脈集約ネットワークは、標準的な残差ネットワークやエンコーダ・デコーダアーキテクチャに比べ、長距離の文脈的依存関係を捉える上で優れているか？

主な発見

• Rain800 データセットでは、RESCAN は PSNR 23.45、SSIM 0.8112 を達成し、次に優れた手法（SCAN）の 23.11 PSNR、0.7657 SSIM より顕著に優れた性能を示した。
• より挑戦的な Rain100H データセットでは、RESCAN は 23.56 PSNR、0.7456 SSIM を達成し、以前の最先端手法（CAN）を 0.63 PSNR、0.0123 SSIM だけ上回った。
• ConvLSTM+Full フレームワークが最も優れた性能を示し、Rain800 では 24.37 PSNR、0.8384 SSIM、Rain100H では 25.64 PSNR、0.8334 SSIM を達成した。
• アブレーションスタディの結果、バッチ正規化を削除することで性能が向上することが確認された。これは、雨縞層が独立しており、BN が学習を妨げるためである。
• SE ブロックの統合が性能向上に大きく寄与していることが示された。CAN から SCAN に移行することで、0.28–0.30 PSNR の向上が確認された。
• 過去の隠れ状態を破棄する反復的フレームワーク（Iter）は、すべての RNN 変種よりも性能が劣っており、段階間での再帰的情報伝達の重要性が裏付けられた。