[논문 리뷰] LAB-Net: LAB Color-Space Oriented Lightweight Network for Shadow Removal

Hong Yang, Gongrui Nan외 5명|arXiv (Cornell University)|2022. 08. 27.

Image Enhancement Techniques인용 수 5

한 줄 요약

이 논문은 그림자 제거를 위해 L, A, B 색상 채널을 별도로 처리하는 이중 브랜치 아키텍처를 사용하는 경량 딥러닝 네트워크인 LAB-Net을 제안한다. 확장된 컨볼루션, 적응형 채널 할당, 향상된 채널 주의(ECA) 모듈, 비그림자 영역 사전 지식을 활용한 국소 공간 주의(LSA) 모듈을 통합함으로써, 파rameter 수와 FLOPs를 크게 줄이고도 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

This paper focuses on the limitations of current over-parameterized shadow removal models. We present a novel lightweight deep neural network that processes shadow images in the LAB color space. The proposed network termed "LAB-Net", is motivated by the following three observations: First, the LAB color space can well separate the luminance information and color properties. Second, sequentially-stacked convolutional layers fail to take full use of features from different receptive fields. Third, non-shadow regions are important prior knowledge to diminish the drastic color difference between shadow and non-shadow regions. Consequently, we design our LAB-Net by involving a two-branch structure: L and AB branches. Thus the shadow-related luminance information can well be processed in the L branch, while the color property is well retained in the AB branch. In addition, each branch is composed of several Basic Blocks, local spatial attention modules (LSA), and convolutional filters. Each Basic Block consists of multiple parallelized dilated convolutions of divergent dilation rates to receive different receptive fields that are operated with distinct network widths to save model parameters and computational costs. Then, an enhanced channel attention module (ECA) is constructed to aggregate features from different receptive fields for better shadow removal. Finally, the LSA modules are further developed to fully use the prior information in non-shadow regions to cleanse the shadow regions. We perform extensive experiments on the both ISTD and SRD datasets. Experimental results show that our LAB-Net well outperforms state-of-the-art methods. Also, our model's parameters and computational costs are reduced by several orders of magnitude. Our code is available at https://github.com/ngrxmu/LAB-Net.

연구 동기 및 목표

• 빛의 강도와 색상 정보를 효과적으로 분리하지 못하는 과도하게 파rameter가 많은 RGB 기반 그림자 제거 모델의 한계를 해결한다.
• 순차적 컨볼루션 네트워크의 단일 수용영역 문제를 해결하기 위해 다양한 확장률을 가진 병렬 확장된 컨볼루션을 통해 다중 척도의 맥락을 통합한다.
• 비그림자 영역 사전 지식을 활용하여 그림자 영역과 비그림자 영역 간의 색상 일관성 문제를 줄여 시각적 정밀도를 향상시킨다.
• 기존 방법들과 비교해도 크게 감소된 파rameter 수와 FLOPs를 유지하면서도 높은 성능을 유지하는 경량 아키텍처를 설계한다.

제안 방법

• 빛의 강도(L) 채널을 처리하는 브랜치와 색상(A, B) 채널을 처리하는 브랜치를 병렬로 운영하는 이중 브랜치 네트워크 아키텍처를 도입하여 빛의 강도와 색상 학습을 분리한다.
• 다양한 확장률을 가진 병렬 확장 컨볼루션과 적응형 채널 할당(확장률 증가에 따라 16-32-48)을 사용한 기본 블록을 설계하여 효율적으로 수용영역을 확장한다.
• 다양한 수용영역에서의 특징을 집계하기 위해 라플라시안 필터를 사용한 향상된 채널 주의(ECA) 모듈을 도입하여 공간 세부 정보를 유지하고 특징 표현을 향상시킨다.
• 그림자 경계 근처의 국소 비그림자 영역을 사전 지식으로 활용하여 그림자 영역의 개선을 안내하는 국소 공간 주의(LSA) 모듈을 제안한다. 이는 색상 불일치를 감소시킨다.
• 성능 유지와 함께 계산 비용을 줄이기 위해 LSA 모듈에서 다운샘플링(256×256)을 적용하여 자원 제약이 있는 플랫폼에서도 유연한 배포를 가능하게 한다.
• ISTD 및 SRD 데이터셋에서 RMSE, S, NS, ALL 지표를 사용해 네트워크를 훈련하고 평가하여 성능 및 효율성 검증을 수행한다.

실험 결과

연구 질문

• RQ1 빛의 강도와 색상 정보를 더 효과적으로 분리함으로써 RGB 기반 방법과 비교해 LAB 색상 공간에서 그림자 제거 성능을 향상시킬 수 있는가?
• RQ2 다양한 확장률에서 적응형 채널 할당을 적용한 병렬 확장 컨볼루션을 사용하면 계산 비용을 줄이면서도 다중 척도 맥락 모델링을 향상시킬 수 있는가?
• RQ3 국소 비그림자 영역 사전 지식을 활용하면 그림자 제거 이미지의 색상 불일치를 얼마나 줄여 시각적 품질을 향상시킬 수 있는가?
• RQ4 감소된 파rameter 수와 FLOPs를 가진 경량 아키텍처가 여전히 그림자 제거 분야에서 최신 기술 수준(SOTA)의 성능을 달성할 수 있는가?

주요 결과

• LAB-Net은 비교된 모든 방법들 중에서 ISTD 데이터셋에서 가장 낮은 RMSE(6.65)와 NS(4.49)를 기록하여 RGB 기반 및 공동 LAB 최적화 모델을 모두 압도한다.
• 확장 컨볼루션에 대한 제안된 채널 할당 전략(16-32-48)은 균일한 할당(32-32-32)이나 반대 순서 할당(48-32-16)보다 파rameter 수와 FLOPs를 줄이고 성능을 향상시킨다.
• ECA 모듈에서 라플라시안 필터를 사용할 경우 소벨 필터(6.74, 4.94)와 GAP(7.19, 5.13)보다 우수한 성능(6.74, 4.74)을 기록하여 공간 세부 정보 보존이 향상됨을 입증한다.
• 국소 비그림자 영역 선택과 256×256 다운샘플링을 적용한 LSA 모듈이 성능과 효율성의 최적 균형을 이룩하여 RMSE를 6.65로 감소시키고 NS를 4.49로 낮춘다.
• 절단 실험 결과, 이중 브랜치 LAB 아키텍처(RMSE: 7.39)가 공동 최적화(LAB_together: 8.11)와 RGB 기반 학습(8.34)보다 뚜렷이 뛰어나 채널 분리의 유용성을 입증한다.
• LAB-Net는 이전 SOTA 방법들에 비해 모델 파rameter 수와 FLOPs를 수 개의 지수 단위로 감소시켜 엣지 디바이스에서의 효율적 배포를 가능하게 한다.