[論文レビュー] EfficientDeRain: Learning Pixel-wise Dilation Filtering for High-Efficiency Single-Image Deraining

Qing Guo, Jingyang Sun+5 more|arXiv (Cornell University)|Sep 19, 2020

Image Enhancement Techniques参考文献 43被引用数 17

ひとこと要約

本稿では、学習可能なカーネル予測ネットワークを用いたピクセル単位の拡張フィルタリングを採用する、モデルフリーでワンステージの除雨手法EfficientDeRainを提案する。これにより、1枚あたり10ms未満のリアルタイム推論が達成され、SOTA手法RCDNetと比較して80倍以上高速化されつつ、高い除雨性能を維持する。さらに、実世界の雨天画像におけるシミュレーションから実世界への一般化ギャップを埋めるために、RainMixと呼ばれるデータ拡張戦略を導入する。

ABSTRACT

Single-image deraining is rather challenging due to the unknown rain model. Existing methods often make specific assumptions of the rain model, which can hardly cover many diverse circumstances in the real world, making them have to employ complex optimization or progressive refinement. This, however, significantly affects these methods' efficiency and effectiveness for many efficiency-critical applications. To fill this gap, in this paper, we regard the single-image deraining as a general image-enhancing problem and originally propose a model-free deraining method, i.e., EfficientDeRain, which is able to process a rainy image within 10~ms (i.e., around 6~ms on average), over 80 times faster than the state-of-the-art method (i.e., RCDNet), while achieving similar de-rain effects. We first propose the novel pixel-wise dilation filtering. In particular, a rainy image is filtered with the pixel-wise kernels estimated from a kernel prediction network, by which suitable multi-scale kernels for each pixel can be efficiently predicted. Then, to eliminate the gap between synthetic and real data, we further propose an effective data augmentation method (i.e., RainMix) that helps to train network for real rainy image handling.We perform comprehensive evaluation on both synthetic and real-world rainy datasets to demonstrate the effectiveness and efficiency of our method. We release the model and code in https://github.com/tsingqguo/efficientderain.git.

研究の動機と目的

• 複雑な最適化や段階的改善に依存する既存の除雨手法の非効率性に対処すること。
• 特定の雨のモデル仮定に依存することを排除し、実世界の状況への一般化を制限する要因を解消すること。
• 自律走行などのリアルタイムアプリケーションに適した、高効率でモデルフリーの除雨ソリューションを開発すること。
• 効果的なデータ拡張により、合成雨画像と実世界の雨画像のドメインギャップを埋めること。

提案手法

• 各ピクセルが、専用のカーネル予測ネットワークによって予測されるマルチスケールのカーネルで処理されるピクセル単位の拡張フィルタリングを提案する。
• 反復的最適化や段階的改善を含まない軽量でワンステージのアーキテクチャを採用し、高い推論速度を実現する。
• 合成雨画像と実世界の雨のパッチを混合することで、実世界データに対する耐性を向上させるデータ拡張技術RainMixを導入する。
• 構造的保持とピクセル単位の正確性のバランスを取るために、L1とSSIMのハイブリッド損失関数を用いる。
• 局所的な画像コンテンツに基づいて、各ピクセルごとに空間的に変化するカーネルを適応的に推定できるように、カーネル予測ネットワークをエンドツーエンドで訓練する。
• 学習されたカーネルを拡張畳み込みを用いて適用し、複数スケールの雨筋を効果的に抑制するとともに、物体の境界を保持する。

実験結果

リサーチクエスチョン

• RQ1 明示的な雨のモデル仮定に依存しないモデルフリーでワンステージの除雨手法は、高い性能と超高速な効率性を両立できるか？
• RQ2 学習可能で空間的に適応的なカーネルを用いたピクセル単位の拡張フィルタリングは、多様な雨パターンの抑制にどの程度効果的か？
• RQ3 標準的なデータ拡張と比較して、RainMixは実世界の雨天画像への一般化をどの程度向上させるか？
• RQ4 さまざまな除雨アーキテクチャにおいて、PSNR/SSIM性能と推論速度のトレードオフはどのように変化するか？

主な発見

• EfficientDeRainは1枚あたり平均6msの推論時間を達成し、SOTA手法RCDNetと比較して80倍以上高速化された。
• RainMix、拡張フィルタリング、およびL1+SSIM損失の組み合わせを採用した最終モデルバージョン（v4）は、Rain100Hで最高のPSNRとSSIMを達成し、各構成要素の有効性を示した。
• 拡張構造の追加による推論時間の増加はわずか約1.5msであり、性能向上に伴う効率的コストの増加は最小限に抑えられている。
• 可視化結果から、RainMixが実世界の画像における重い多様な雨筋の除去能力を顕著に向上させていることが明らかになった。標準的な学習ではこれらの問題に対処できない。
• SPA実世界データセットにおいて、RainMixを用いないで学習したモデルは、常に残留雨筋（赤矢印で示す）を残しており、RainMixが実世界の耐性に果たす重要な役割を確認した。
• アブレーションスタディにより、各構成要素（拡張フィルタリング、RainMix、ハイブリッド損失）が性能向上に段階的に寄与しており、フルパイプラインが最良の結果を達成していることが確認された。