[논문 리뷰] ContourletNet: A Generalized Rain Removal Architecture Using Multi-Direction Hierarchical Representation

Wei‐Ting Chen, Cheng-Che Tsai외 4명|arXiv (Cornell University)|2021. 11. 25.

Image Enhancement Techniques참고 문헌 36인용 수 6

한 줄 요약

ContourletNet는 이미지를 다중방향 서브밴드(MS)와 의미 서브밴드(SS)로 분해하는 커프트 변환(CT)을 활용한 일반화된 딥러닝 아키텍처를 제안한다. 이를 통해 배경과 빗줄기의 계층적 복원이 가능하며, 피드백 오차 매핑을 갖춘 다중 수준 서브밴드 판별자로 중간 및 강한 비 조건에서 최고의 성능을 달성한다. 정량적 및 정성적 평가에서 기존 방법을 모두 능가한다.

ABSTRACT

Images acquired from rainy scenes usually suffer from bad visibility which may damage the performance of computer vision applications. The rainy scenarios can be categorized into two classes: moderate rain and heavy rain scenes. Moderate rain scene mainly consists of rain streaks while heavy rain scene contains both rain streaks and the veiling effect (similar to haze). Although existing methods have achieved excellent performance on these two cases individually, it still lacks a general architecture to address both heavy rain and moderate rain scenarios effectively. In this paper, we construct a hierarchical multi-direction representation network by using the contourlet transform (CT) to address both moderate rain and heavy rain scenarios. The CT divides the image into the multi-direction subbands (MS) and the semantic subband (SS). First, the rain streak information is retrieved to the MS based on the multi-orientation property of the CT. Second, a hierarchical architecture is proposed to reconstruct the background information including damaged semantic information and the veiling effect in the SS. Last, the multi-level subband discriminator with the feedback error map is proposed. By this module, all subbands can be well optimized. This is the first architecture that can address both of the two scenarios effectively. The code is available in https://github.com/cctakaet/ContourletNet-BMVC2021.

연구 동기 및 목표

• 기존의 빗물 제거 방법이 중간 비 또는 강한 비 중 하나에 특화되어 있어 둘 다 처리하지 못하는 한계를 해결하기 위해.
• 중간 비(빗줄기만 있음)와 강한 비(빗줄기 + 안개 효과)를 효과적으로 처리할 수 있는 통합된 딥러닝 아키텍처를 개발하기 위해.
• 다양한 방향성과 계층적 특징 표현을 활용해 배경 복원을 향상시키고 잔여 빗줄기를 감소시키기 위해.
• 피드백 오차 매핑을 갖춘 다중 수준 서브밴드 판별자를 통해 각 서브밴드를 독립적으로 최적화함으로써 최적화를 향상시키기 위해.

제안 방법

• 입력 이미지는 커프트 변환(CT)을 통해 다중방향 서브밴드(MS)와 의미 서브밴드(SS)로 분해되며, 이는 방향성 및 다중 척도 특징을 캡처한다.
• 의미 서브밴드(SS)를 복원하기 위해 계층적 복구 네트워크가 설계되며, 이는 손상된 의미적 내용과 강한 비에서의 안개 효과를 모두 해결한다.
• 피드백 오차 매핑을 갖춘 다중 수준 서브밴드 판별자가 도입되어 오류 전파를 억제하고 각 서브밴드를 독립적으로 최적화한다.
• 집합적 커프트 구성요소와 커프트 예측기(예측자)를 사용하여 특징 표현을 향상시키고, MS에서 빗줄기를 추출하는 데 네트워크를 안내한다.
• 시각적 품질과 구조적 충실도를 향상시키기 위해 적대적 손실과 인지적 손실을 함께 사용해 엔드 투 엔드로 네트워크를 훈련시킨다.
• 커프트 변환은 기존의 컨볼루션 또는 DWT, 라플라시안 피라미드와 같은 다른 변환 방식을 대체하는 주요 특징 추출 메커니즘이다.

실험 결과

연구 질문

• RQ1 특수화된 아키텍처 없이도 통합된 딥러닝 아키텍처가 중간 및 강한 비 조건을 효과적으로 처리할 수 있는가?
• RQ2 커프트 변환을 통한 계층적 다중방향 표현이 빗줄기 제거와 배경 복원에 어떻게 기여하는가?
• RQ3 피드백 오차 매핑을 갖춘 다중 수준 서브밴드 판별자가 최적화 및 잔여물 억제에 어떤 영향을 미치는가?
• RQ4 기타 특징 추출 방법(예: 컨볼루션, DWT, 라플라시안 피라미드)과 비교했을 때 커프트 변환은 빗물 제거 성능에서 어떤가?
• RQ5 빗물 제거 성능을 고려할 때 커프트 변환의 분해 수준 최적의 수치는 얼마인가?

주요 결과

• ContourletNet는 Heavy Rain(Heavy) 및 Rain100H 데이터셋에서 각각 PSNR 25.45와 31.44를 기록하며, 모든 베이스라인을 능가하는 최고의 성능을 달성한다.
• 제안된 구성요소들—계층적 아키텍처, 피드백 오차 매핑, 다중 수준 판별자, 커프트 예측기, 집합적 구성요소—모두 성능 향상에 기여한다는 것이 추론 연구를 통해 확인되었다.
• 컨볼루션, MConv, HL, LP, DWT와 비교했을 때 커프트 변환을 특징 추출기로 사용하면 더 뛰어난 성능을 내며, Heavy에서 4.0 dB, Rain100H에서 5.2 dB의 PSNR 향상을 기록한다.
• CT 분해 수준을 늘릴수록 성능 향상이 이루어지며, 수준 6에서 PSNR가 Heavy에서 25.50, Rain100H에서 31.48에 도달한다.
• 시각적 비교 결과, MSPFN, RCDNet, HRGAN과 비교해 ContourletNet는 잔여 빗줄기가 적고 더 깔끔한 결과를 내는 것으로 나타났으며, 특히 실생활 및 야간 환경에서 두드러진다.
• 합성 및 실생활 데이터셋 모두에서 일관된 성능을 보여, 다양한 빗조건에 대해 잘 일반화됨을 입증했다.