[論文レビュー] LAB-Net: LAB Color-Space Oriented Lightweight Network for Shadow Removal

Hong Yang, Gongrui Nan+5 more|arXiv (Cornell University)|Aug 27, 2022

Image Enhancement Techniques被引用数 5

ひとこと要約

本稿では、二本のブランチ構造を用いて明度（L）と色彩（AB）チャンネルを別々に処理する、LAB色空間でシャドウ除去を実行する軽量なディーブラーニングネットワーク、LAB-Netを提案する。拡張畳み込みと適応的チャンネル割り当てを統合した強化型チャネル注目（ECA）モジュール、および非シャドウ領域の事前知識を活用した局所的空間注目（LSA）モジュールにより、顕著に少ないパラメータ数とFLOPsで最先端の性能を達成する。

ABSTRACT

This paper focuses on the limitations of current over-parameterized shadow removal models. We present a novel lightweight deep neural network that processes shadow images in the LAB color space. The proposed network termed "LAB-Net", is motivated by the following three observations: First, the LAB color space can well separate the luminance information and color properties. Second, sequentially-stacked convolutional layers fail to take full use of features from different receptive fields. Third, non-shadow regions are important prior knowledge to diminish the drastic color difference between shadow and non-shadow regions. Consequently, we design our LAB-Net by involving a two-branch structure: L and AB branches. Thus the shadow-related luminance information can well be processed in the L branch, while the color property is well retained in the AB branch. In addition, each branch is composed of several Basic Blocks, local spatial attention modules (LSA), and convolutional filters. Each Basic Block consists of multiple parallelized dilated convolutions of divergent dilation rates to receive different receptive fields that are operated with distinct network widths to save model parameters and computational costs. Then, an enhanced channel attention module (ECA) is constructed to aggregate features from different receptive fields for better shadow removal. Finally, the LSA modules are further developed to fully use the prior information in non-shadow regions to cleanse the shadow regions. We perform extensive experiments on the both ISTD and SRD datasets. Experimental results show that our LAB-Net well outperforms state-of-the-art methods. Also, our model's parameters and computational costs are reduced by several orders of magnitude. Our code is available at https://github.com/ngrxmu/LAB-Net.

研究の動機と目的

• 明度と色彩情報を効果的に分離できない過剰にパrameter化されたRGBベースのシャドウ除去モデルの限界を解消すること。
• 連続的な畳み込みネットワークにおけるユニタリな受容 field 問題を、異なる拡張率を有する並列の拡張畳み込みにより多スケールの文脈を統合することで克服すること。
• 非シャドウ領域の事前知識を活用して、シャドウ領域と非シャドウ領域間の色彩の不一致を低減し、視覚的忠実度を向上させること。
• 従来の手法と比較して顕著にパラメータ数とFLOPsを削減しながらも、高い性能を維持する軽量なアーキテクチャを設計すること。

提案手法

• 明度（L）チャンネルを処理するブランチと、彩度（A, B）チャンネルを処理するブランチを並列に実装する二本のブランチ構造を採用し、明度と色彩の学習を分離する。
• 異なる拡張率に対応する複数の並列された拡張畳み込みと適応的チャンネル割り当て（増加する拡張率に対し16-32-48）を用いた基本ブロックを設計し、効率的な受容 field の拡張を実現する。
• 異なる受容 field からの特徴を統合するためのラプラシアンフィルタを用いた強化型チャネル注目（ECA）モジュールを導入し、空間的詳細を保持するとともに特徴表現を向上させる。
• シャドウ境界付近の局所的非シャドウ領域を事前知識として活用し、シャドウ領域の精緻化をガイドする局所的空間注目（LSA）モジュールを提案する。これにより、色彩の不一致を低減する。
• 計算コストを削減しつつ性能を維持できるように、LSAモジュールでダウンサンプリング（256×256に）を実施し、リソース制限のあるプラットフォームへの柔軟な展開を可能にする。
• ISTDおよびSRDデータセット上でRMSE、S、NS、ALLの指標を用いてネットワークの訓練と評価を実施し、性能と効率性を検証する。

実験結果

リサーチクエスチョン

• RQ1 明度と色彩情報をより効果的に分離できるLAB色空間でシャドウ画像を処理することで、RGBベースの手法に比べてシャドウ除去性能が向上するか？
• RQ2 異なる拡張率に応じた適応的チャンネル割り当てを有する並列の拡張畳み込みを用いることで、計算コストを低減しつつ多スケールの文脈モデリングが向上するか？
• RQ3 局所的非シャドウ領域の事前知識を活用することで、シャドウ除去画像における色彩の不一致をどれほど低減でき、視覚的品質を向上させられるか？
• RQ4 パラメータ数とFLOPsを大幅に削減した軽量アーキテクチャでも、シャドウ除去において最先端の性能を達成できるか？

主な発見

• LAB-Netは、比較対象のすべての手法の中でISTDデータセットで最低のRMSE（6.65）とNS（4.49）を達成し、RGBベースおよび統合LAB最適化モデルを上回る性能を示した。
• 拡張畳み込みに用いたチャネル割り当て戦略（16-32-48）は、均一な（32-32-32）や逆順（48-32-16）の割り当てと比較して、パラメータ数とFLOPsを削減しながら性能を向上させた。
• ECAモジュールにラプラシアンフィルタを用いることで、ソーベル（RMSE: 6.74, NS: 4.94）やGAP（RMSE: 7.19, NS: 5.13）と比較して優れた結果（RMSE: 6.74, NS: 4.74）が得られ、空間的詳細の保持が優れていることが示された。
• 局所的非シャドウ領域の選択と256×256のダウンサンプリングを組み合わせたLSAモジュールは、性能と効率性の最良のバランスを実現し、RMSEを6.65、NSを4.49まで低減した。
• アブレーションスタディの結果、二本のブランチ構造（RMSE: 7.39）は統合最適化（LAB_together: 8.11）やRGBベースの学習（8.34）を著しく上回り、チャンネル分離の利点を実証した。
• LAB-Netは、先行する最先端手法と比較して、モデルのパラメータ数とFLOPsを数個のオーダー単位で削減し、エッジデバイスへの効率的な展開を可能にした。