[논문 리뷰] Towards Unified Deep Image Deraining: A Survey and A New Benchmark

Xiang Chen, Jinshan Pan외 2명|arXiv (Cornell University)|2023. 10. 05.

Image Enhancement Techniques인용 수 7

한 줄 요약

이 논문은 단일 이미지 비정련을 위한 통합 평가 프레임워크를 제안하며, 도메인 갭을 줄이기 위해 고해상도이고 현실적인 합성 비줄무늬 쌍 5,000组을 포함한 HQ-RAIN 벤치마크를 도입한다. 이는 혼합 학습과 독립 학습이라는 두 가지 표준화된 평가 트랙을 설정하여 유역 모델 간의 공정하고 재현 가능한 비교를 가능하게 하며, 지속적인 벤치마크 및 모델 평가를 위한 온라인 플랫폼도 함께 공개한다.

ABSTRACT

Recent years have witnessed significant advances in image deraining due to the kinds of effective image priors and deep learning models. As each deraining approach has individual settings (e.g., training and test datasets, evaluation criteria), how to fairly evaluate existing approaches comprehensively is not a trivial task. Although existing surveys aim to review of image deraining approaches comprehensively, few of them focus on providing unify evaluation settings to examine the deraining capability and practicality evaluation. In this paper, we provide a comprehensive review of existing image deraining method and provide a unify evaluation setting to evaluate the performance of image deraining methods. We construct a new high-quality benchmark named HQ-RAIN to further conduct extensive evaluation, consisting of 5,000 paired high-resolution synthetic images with higher harmony and realism. We also discuss the existing challenges and highlight several future research opportunities worth exploring. To facilitate the reproduction and tracking of the latest deraining technologies for general users, we build an online platform to provide the off-the-shelf toolkit, involving the large-scale performance evaluation. This online platform and the proposed new benchmark are publicly available and will be regularly updated at http://www.deraining.tech/.

연구 동기 및 목표

• 이미지 비정련 연구에서 표준화된 평가 프로토콜의 부재로 인해 다양한 연구 간에 일관성 없고 비교할 수 없는 결과가 발생하는 문제를 해결하기 위해.
• 더 높은 해상도와 조화를 이루는 고품질의 현실적인 벤치마크를 통해 합성 이미지와 실제 비가 내리는 이미지 간의 도메인 갭을 줄이기 위해.
• 혼합 학습과 독립 학습이라는 두 가지 평행 평가 트랙을 설정하여 유역 모델의 성능 비교를 공정하고 체계적으로 가능하게 하기 위해.
• 지속적인 평가 및 모델 추적을 지원하기 위해 공개 가능한 온라인 플랫폼을 제공하여 재현 가능성과 진전 모니터링을 지원하기 위해.
• 특히 오염 모델링, 모델 효율성, 고수준 시각 작업과의 통합 측면에서 이미지 비정련 분야의 열린 과제와 향후 연구 방향을 규명하기 위해.

제안 방법

• 배경과 자연스럽게 융합되는 현실적인 비줄무늬를 생성하기 위해 이미지 조화 기반의 새로운 비가 내리는 이미지 생성 방법을 제안한다. 특히 하늘 영역에서의 융합을 중점적으로 고려한다.
• 시각적 현실성, 다양성, 정렬도를 중시하여 고해상도 이미지 쌍(비가 내리는 이미지 및 기준 정제 이미지) 5,000组을 포함한 HQ-RAIN 벤치마크를 구축한다.
• 두 가지 표준화된 평가 트랙을 설계한다: (1) 혼합 학습 — 여러 데이터셋에서 학습하고 모든 데이터셋에서 테스트; (2) 독립 학습 — 별도의 데이터셋에서 학습하고 별도의 데이터셋에서 테스트.
• RGB 및 Y 채널에서 일관된 메트릭(PSNR, SSIM)을 사용하는 통합 평가 프rotocol를 구현하며, 재현 가능성을 확보하기 위해 표준화된 도구(예: OpenCV)를 활용한다.
• 벤치마크 호스팅, 오프더쇼프 모델 평가, 정기적 업데이트 지원을 위한 온라인 평가 플랫폼을 http://www.deraining.tech/ 에 구축한다.
• 100편 이상의 비정련 논문을 종합적으로 분석하여 데이터셋 사용 패턴을 분석하고, 학습/테스트 데이터 관계에서의 일관성 결여를 규명한다.

실험 결과

연구 질문

• RQ1 다양한 학습 및 테스트 설정에서 이미지 비정련 모델 간의 공정하고 일관된 비교를 가능하게 하는 통합 평가 프로토콜를 어떻게 수립할 수 있는가?
• RQ2 기존의 합성 벤치마크(예: Rain100L, Rain100H)가 현실성, 조화, 해상도 측면에서 가지는 주요 한계는 무엇이며, 이를 어떻게 보완할 수 있는가?
• RQ3 합성 이미지와 실제 비가 내리는 이미지 간의 도메인 갭이 모델 일반화 능력에 미치는 영향은 어느 정도이며, 개선된 데이터 생성을 통해 이를 어떻게 최소화할 수 있는가?
• RQ4 다른 학습 전략(혼합 대비 독립)이 비정련 모델의 보고된 성능에 미치는 영향은 무엇이며, 실제 운영 환경에 더 부합하는 전략은 무엇인가?
• RQ5 특히 오염 모델링, 모델 효율성, 고수준 시각 작업과의 통합 측면에서 이미지 비정련 분야의 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• HQ-RAIN 벤치마크는 고해상도, 현실적인 비줄무늬와 배경 통합으로 인해 합성 이미지와 실제 비가 내리는 이미지 간의 도메인 갭을 크게 줄였다.
• 혼합 학습과 독립 학습이라는 두 가지 표준화된 트랙을 포함한 제안된 통합 평가 프레임워크는 공정하고 재현 가능한 성능 비교를 가능하게 하여, 이전 연구에서 혼합되거나 일치하지 않는 학습/테스트 데이터로 인한 일관성 문제를 해결한다.
• 정량적 분석 결과, 통합 프로토콜에 따라 학습된 모델은 더 신뢰할 수 있고 비교 가능한 성능 지표를 보이며, PSNR 및 SSIM 결과가 다양한 평가 설정 간에 일관되게 나타난다.
• http://www.deraining.tech/ 에 위치한 온라인 평가 플랫폼은 실시간 벤치마크 및 비정련 모델 추적을 가능하게 하여 지속적인 평가와 커뮤니티 수준의 진전 모니터링을 지원한다.
• 설문 조사 결과, 기존 비정련 방법의 70% 이상이 일관되지 않은 학습/테스트 데이터 분할을 사용하고 있어 보고된 성능 비교의 타당성을 떨어뜨린다.
• 향후 연구는 복잡한 오염 과정(예: 비선형 비 효과) 모델링, 지식 distillation 및 신경망 아키텍처 탐색을 통한 모델 효율성 향상, 고수준 시각 작업과의 통합에 집중해야 한다.