[論文レビュー] ContourletNet: A Generalized Rain Removal Architecture Using Multi-Direction Hierarchical Representation

Wei‐Ting Chen, Cheng-Che Tsai+4 more|arXiv (Cornell University)|Nov 25, 2021

Image Enhancement Techniques参考文献 36被引用数 6

ひとこと要約

ContourletNet は、画像を多方向サブバンド（MS）とセマンティックサブバンド（SS）に分解するための輪郭let変換（CT）を活用した一般化された深層学習アーキテクチャを提案する。これにより、背景と雨筋の階層的再構成が可能となる。マルチレベルサブバンド識別器とフィードバック誤差マップを用いることで、中程度の雨と激しい雨の両方の状況で最先端の性能を達成し、定量的および定性的な評価において既存手法を上回っている。

ABSTRACT

Images acquired from rainy scenes usually suffer from bad visibility which may damage the performance of computer vision applications. The rainy scenarios can be categorized into two classes: moderate rain and heavy rain scenes. Moderate rain scene mainly consists of rain streaks while heavy rain scene contains both rain streaks and the veiling effect (similar to haze). Although existing methods have achieved excellent performance on these two cases individually, it still lacks a general architecture to address both heavy rain and moderate rain scenarios effectively. In this paper, we construct a hierarchical multi-direction representation network by using the contourlet transform (CT) to address both moderate rain and heavy rain scenarios. The CT divides the image into the multi-direction subbands (MS) and the semantic subband (SS). First, the rain streak information is retrieved to the MS based on the multi-orientation property of the CT. Second, a hierarchical architecture is proposed to reconstruct the background information including damaged semantic information and the veiling effect in the SS. Last, the multi-level subband discriminator with the feedback error map is proposed. By this module, all subbands can be well optimized. This is the first architecture that can address both of the two scenarios effectively. The code is available in https://github.com/cctakaet/ContourletNet-BMVC2021.

研究の動機と目的

• 既存の雨除去手法が中程度の雨または激しい雨のどちらかに特化しているという制限を解決すること。
• 中程度の雨（雨筋のみ）と激しい雨（雨筋＋ベール効果）の両方を効果的に処理できる統合された深層学習アーキテクチャを開発すること。
• 多方向的かつ階層的な特徴表現を活用することで、背景の再構成を向上させ、残存する雨筋を低減すること。
• フィードバック誤差マップを備えたマルチレベルサブバンド識別器により、サブバンド間での最適化を強化すること。

提案手法

• 入力画像は、輪郭let変換（CT）を用いて多方向サブバンド（MS）とセマンティックサブバンド（SS）に分解され、方向性および多スケール特徴を捉える。
• セマンティックサブバンド（SS）の再構成を目的とした階層的回復ネットワークが設計され、激しい雨における損傷を受けるセマンティックコンテンツとベール効果に対処する。
• 誤差伝播を抑制し、各サブバンドを独立して最適化するため、フィードバック誤差マップを備えたマルチレベルサブバンド識別器が導入される。
• アグリゲート輪郭letコンポーネントと輪郭let予測器を用いて、特徴表現を強化し、MS からの雨筋抽出をネットワークが効果的にガイドする。
• 視覚的品質と構造的忠実度を向上させるために、敵対的損失と知覚的損失を用いてエンドツーエンドでネットワークを訓練する。
• 輪郭let変換が主な特徴抽出メカニズムとして用いられ、従来の畳み込みや DWT やラプラシアンピラミッドなどの他の変換に置き換えられる。

実験結果

リサーチクエスチョン

• RQ1 特化したアーキテクチャを必要とせず、中程度の雨と激しい雨の両方の状況を効果的に処理できる統合された深層学習アーキテクチャは、実現可能か？
• RQ2 輪郭let変換による階層的多方向表現は、雨筋除去と背景再構成をどのように改善するか？
• RQ3 フィードバック誤差マップを備えたマルチレベルサブバンド識別器は、最適化と残存抑制にどのような影響を及ぼすか？
• RQ4 雨除去性能において、輪郭let変換は他の特徴抽出手法（例：畳み込み、DWT、ラプラシアンピラミッド）と比較してどのように優れているか？
• RQ5 雨除去性能を最適化するための輪郭let変換の分解レベルの最適値は何か？

主な発見

• ContourletNet は、Heavy Rain（Heavy）および Rain100H データセットの両方で最高の性能を達成し、それぞれ PSNR が 25.45 および 31.44 に達し、すべてのベースラインを上回っている。
• アブレーションスタディの結果、階層的アーキテクチャ、フィードバック誤差マップ、マルチレベル識別器、輪郭let予測器、アグリゲートコンポーネントといった、すべての提案された要素が性能向上に顕著な寄与をしていることが確認された。
• 輪郭let変換を特徴抽出器として用いることで、VConv、MConv、HL、LP、DWT と比較して優れた結果が得られ、Heavy では 4.0 dB、Rain100H では 5.2 dB の PSNR 向上が達成された。
• CT の分解レベルを増加させることで性能が向上し、レベル 6 で Heavy では PSNR 25.50、Rain100H では 31.48 に到達した。
• 視覚的比較では、特に実世界および夜間シーンにおいて、MSPFN や RCDNet や HRGAN よりもクリアな結果が得られ、残存雨筋が少ないことが示された。
• 合成データセットおよび実世界データセットの両方で一貫した性能を示しており、多様な雨状況に優れた一般化性能を有していることが実証された。