[논문 리뷰] Deep Joint Rain Detection and Removal from a Single Image
이 논문은 단일 이미지에서 강우 감지 및 제거를 위한 딥러닝 프레임워크를 제안하며, 빗줄기의 위치에 따라 달라지는 새로운 빗줄기 모델을 도입하여 이진 맵을 통해 빗줄기를 명시적으로 감지하고, 빗줄기의 축적과 겹치는 빗줄기들을 모델링한다. 이 방법은 맥락적 확장 컨볼루션과 순환 구조를 갖춘 다중 작업 네트워크를 사용하여 점진적으로 빗줄기를 제거하며, 어려운 벤치마크에서 1 dB 이상의 PSNR 향상을 달성하여 최신 기술 수준의 성능을 보인다.
In this paper, we address a rain removal problem from a single image, even in the presence of heavy rain and rain streak accumulation. Our core ideas lie in the new rain image models and a novel deep learning architecture. We first modify an existing model comprising a rain streak layer and a background layer, by adding a binary map that locates rain streak regions. Second, we create a new model consisting of a component representing rain streak accumulation (where individual streaks cannot be seen, and thus visually similar to mist or fog), and another component representing various shapes and directions of overlapping rain streaks, which usually happen in heavy rain. Based on the first model, we develop a multi-task deep learning architecture that learns the binary rain streak map, the appearance of rain streaks, and the clean background, which is our ultimate output. The additional binary map is critically beneficial, since its loss function can provide additional strong information to the network. To handle rain streak accumulation (again, a phenomenon visually similar to mist or fog) and various shapes and directions of overlapping rain streaks, we propose a recurrent rain detection and removal network that removes rain streaks and clears up the rain accumulation iteratively and progressively. In each recurrence of our method, a new contextualized dilated network is developed to exploit regional contextual information and outputs better representation for rain detection. The evaluation on real images, particularly on heavy rain, shows the effectiveness of our novel models and architecture, outperforming the state-of-the-art methods significantly. Our codes and data sets will be publicly available.
연구 동기 및 목표
- 기존의 강우 제거 방법이 텍스처를 과도하게 매끄럽게 다루고, 빗줄기의 축적과 겹치는 빗줄기와 같은 복잡한 강우 현상을 모델링하지 못하는 한계를 해결하기 위해.
- 강우 영역을 동시에 감지하고 제거하는 통합된 딥러닝 프레임워크를 개발하여, 감지 맵을 보조 신호로 활용해 복원 품질을 향상시키기 위해.
- 특히 강우가 집중적인 상황에서 빗줄기의 축적( neblina와 유사한 형태)과 다양한 빗줄기 방향을 모델링하여 더 현실적인 훈련 데이터와 더 나은 일반화 능력을 확보하기 위해.
- 큰 수신장과 함께 맥락 기반 확장 컨볼루션 네트워크를 사용해 맥락 이해를 향상시키고, 국소적 세부 정보는 유지하면서 장거리 의존성을 포착하기 위해.
- 강우가 집중된 극한의 경우를 다루기 위해 점진적으로 개선되는 순환 강우 감지 및 제거 프로세스를 통해 출력을 점진적으로 정제하기 위해.
제안 방법
- 이미지를 세 가지 구성요소로 분해하는 새로운 영역 의존성 강우 이미지 모델을 도입: 빗줄기 이진 맵(눈에 보이는 빗줄기 표시), 빗줄기 축적 성분(안개/ neblina처럼 보이는 덮개 모델링), 배경 층.
- 강우 이진 맵, 강우 외관, 청소된 배경을 동시에 예측하는 다중 작업 딥 네트워크를 개발하며, 이중 맵이 제거 과정을 안내하는 강력한 감독 신호로 기능한다.
- 병렬 확장 컨볼루션을 사용해 수신장과 기능 표현을 확장하고, 다중 척도의 맥락 정보를 풍부하게 하는 맥락 기반 확장 컨볼루션 네트워크를 구현한다.
- 반복적으로 개선되는 강우 감지 및 제거 네트워크를 제안하여, 겹치고 조밀한 빗줄기를 점진적으로 제거하면서 이미지 세부 정보를 유지한다.
- 순환 프레임워크 내부에 탈안개 모듈을 통합하여 강우 축적으로 인한 대기적 덮개를 처리하고, 더 나은 결과를 얻기 위해 deraining-dehazing-deraining 파이프라인을 가능하게 한다.
- 재구성 손실과 강우 마스크에 대한 이진 교차 엔트로피 손실의 조합을 사용해 엔드 투 엔드 최적화를 수행한다.
실험 결과
연구 질문
- RQ1딥러닝 모델이 별도의 감지 및 제거 접근 방식보다 단일 이미지에서 강우를 동시에 감지하고 제거하는 데 더 효과적인가?
- RQ2강우가 집중된 상황에서 빗줄기의 축적과 겹치는 빗줄기를 어떻게 모델링할 수 있는가? 이는 훈련 데이터의 현실성과 네트워크 일반화 능력을 향상시키기 위함이다.
- RQ3점진적 개선을 통해 강화된 순환 아키텍처가 복잡하고 밀도가 높은 강우 상황에서 강우 제거 성능을 얼마나 향상시킬 수 있는가?
- RQ4큰 수신장을 갖춘 맥락 기반 확장 컨볼루션 네트워크는 장거리 맥락적 신호를 포착하면서도 국소적 이미지 세부 정보를 어떻게 유지할 수 있는가?
- RQ5강우 축적으로 인한 대기적 덮개 효과가 있는 이미지에서 강우 제거 파이프라인에 탈안개 모듈을 통합하면 성능 향상이 이루어지는가?
주요 결과
- Rain100H 벤치마크에서 제안된 JORDER-R 방법은 PSNR 23.45를 기록하여 이전 최고 성능 방법(JORDER)의 22.15를 크게 상회하며, 1 dB 이상의 향상을 달성했다.
- Rain12 데이터셋에서 JORDER는 PSNR 36.02와 SSIM 0.96를 기록하여 SRCNN과 DSC를 포함한 모든 이전 방법을 뛰어넘었다.
- 순환 아키텍처(JORDER-R)는 강우가 집중된 이미지에서 뚜렷한 성능 향상을 보이며, 조밀하고 겹치는 빗줄기를 점진적으로 제거하는 데 효과적임을 입증했다.
- 강우 영역 외부에서는 미세한 텍스처와 에지가 유지되어 이전 방법에서 흔히 발생하는 과도한 매끄러움을 방지했다.
- JORDER-R-DEHAZE 파이프라인(다시 강우 제거 → 탈안개 → 다시 강우 제거)은 강우와 안개처럼 보이는 덮개가 동시에 존재하는 이미지에서 뛰어난 시각적 성능을 보였다.
- 500×500 이미지의 추론 시간은 GPU에서 10초 이내로, 이는 이전 최신 기술 수준의 방법들에 비해 계산적으로 효율적이다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.