[論文レビュー] Joint Self-Attention and Scale-Aggregation for Self-Calibrated Deraining Network

Cong Wang, Yutong Wu+2 more|arXiv (Cornell University)|Aug 6, 2020

Image Enhancement Techniques参考文献 31被引用数 7

ひとこと要約

本稿では、単一画像の雨除去のための特徴表現を向上させるために、連合自己注意とスケール集約モジュールを自己キャリブレーション畳み込みと統合した自己キャリブレーション型derainingネットワークJDNetを提案する。長距離の空間的およびチャネル間の依存関係をモデル化し、マルチスケール特徴に適応することで、合成データセットおよび実世界データセットの両方で最先端の性能を達成し、PSNRとSSIMにおいて従来手法を最大0.01および0.0091上回る。

ABSTRACT

In the field of multimedia, single image deraining is a basic pre-processing work, which can greatly improve the visual effect of subsequent high-level tasks in rainy conditions. In this paper, we propose an effective algorithm, called JDNet, to solve the single image deraining problem and conduct the segmentation and detection task for applications. Specifically, considering the important information on multi-scale features, we propose a Scale-Aggregation module to learn the features with different scales. Simultaneously, Self-Attention module is introduced to match or outperform their convolutional counterparts, which allows the feature aggregation to adapt to each channel. Furthermore, to improve the basic convolutional feature transformation process of Convolutional Neural Networks (CNNs), Self-Calibrated convolution is applied to build long-range spatial and inter-channel dependencies around each spatial location that explicitly expand fields-of-view of each convolutional layer through internal communications and hence enriches the output features. By designing the Scale-Aggregation and Self-Attention modules with Self-Calibrated convolution skillfully, the proposed model has better deraining results both on real-world and synthetic datasets. Extensive experiments are conducted to demonstrate the superiority of our method compared with state-of-the-art methods. The source code will be available at \url{https://supercong94.wixsite.com/supercong94}.

研究の動機と目的

• 単一画像の雨除去において、従来の畳み込みネットワークが長距離依存関係とマルチスケール特徴を捉えることの制限を解消すること。
• 合成データセットが一般化に失敗する実世界の雨天条件下でのロバスト性を向上させること。
• 自己注意とスケール集約メカニズムを自己キャリブレーション畳み込みフレームワーク内に統合することで、特徴表現を強化すること。
• 提案モデルがセマンティックセグメンテーションやオブジェクト検出などの高レベルビジョンタスクにおける有効性を示すこと。

提案手法

• 複数の受容 field を通じて特徴を学習するスケール集約モジュールを導入し、マルチスケール特徴表現を向上させる。
• 固定された位置的重みを持たないため、コンテンツに応じた特徴統合が可能なペアワイズ自己注意モジュールを採用する。
• 内部特徴の通信を通じて各畳み込み層の有効感受野を明示的に拡張する自己キャリブレーション畳み込みを適用する。
• 自己注意、スケール集約、自己キャリブレーション畳み込みの3つのコンponentsを統合した統一されたネットワークアーキテクチャを構築し、共同最適化を実現する。
• 訓練中に構造的詳細をよりよく保持するため、負のSSIM損失関数を用いることで、知覚的品質を向上させる。
• アブレーションスタディを実施し、各コンponentの貢献度を分離・検証する。

実験結果

リサーチクエスチョン

• RQ1 連合自己注意とスケール集約は、標準CNNと比較して、単一画像の雨除去における特徴表現を向上させることができるか？
• RQ2 自己キャリブレーション畳み込みは、雨除去ネットワークにおける特徴学習とロバスト性をどのように向上させるか？
• RQ3 自己注意とマルチスケールモジュールの統合は、実世界の雨天画像における一般化性能を向上させるか？
• RQ4 MAEおよびMSEと比較して、負のSSIM損失は雨除去ネットワークの最適化においてどれほど効果的か？
• RQ5 提案された雨除去モデルは、セマンティックセグメンテーションやオブジェクト検出などの高レベルビジョンタスクにおける優れた前処理ステップとして機能できるか？

主な発見

• JDNetはRain100HデータセットでPSNR 30.0160、SSIM 0.9221を達成し、ベースラインをPSNRで0.695 dB、SSIMで0.0091上回った。
• アブレーションスタディにより、自己キャリブレーション畳み込みおよび自己注意モジュールが個別に性能向上をもたらすことが確認され、フルモデルが最良の結果を達成した。
• 負のSSIM損失は、SSIM（0.9221）およびPSNR（30.0160）の両方で最高値を記録し、MAEおよびMSE損失よりも優れていることを示した。
• 実世界データセットにおける可視的比較では、JDNetが密集した不規則な雨筋を効果的に除去するとともに、微細なディテールやテクスチャを保持していることが確認された。
• セマンティックセグメンテーションおよびオブジェクト検出タスクにおいて、JDNetはより明確な雨除去画像を生成し、最先端の雨除去ベースラインを上回る正確な予測を達成した。
• 他の手法が雨筋を効果的に除去できない中で、JDNetは実世界の条件への強い一般化性能を示した。