[논문 리뷰] Robust Representation Learning with Feedback for Single Image Deraining

Chenghao Chen, Hao Li|arXiv (Cornell University)|2021. 01. 29.

Image Enhancement Techniques참고 문헌 32인용 수 9

한 줄 요약

이 논문은 단일 이미지 비정련을 위한 피드백 기반 강건한 표현 학습 프레임워크를 제안하며, 폐쇄형 피드백을 통해 반복적으로 모델 오류를 탐지하고 보완함으로써 특징 품질을 향상시켜, 표준 및 실세계 데이터셋에서 최신 기술을 크게 능가한다. 특징 임bedding 향상과 오류 내성 향상으로 인해 성능이 향상된다.

ABSTRACT

A deraining network can be interpreted as a conditional generator that aims at removing rain streaks from image. Most existing image deraining methods ignore model errors caused by uncertainty that reduces embedding quality. Unlike existing image deraining methods that embed low-quality features into the model directly, we replace low-quality features by latent high-quality features. The spirit of closed-loop feedback in the automatic control field is borrowed to obtain latent high-quality features. A new method for error detection and feature compensation is proposed to address model errors. Extensive experiments on benchmark datasets as well as specific real datasets demonstrate that the proposed method outperforms recent state-of-the-art methods. Code is available at: \\ https://github.com/LI-Hao-SJTU/DerainRLNet

연구 동기 및 목표

• 모델의 불확실성과 낮은 품질의 특징 임베딩으로 인한 정렬 네트워크의 표현 품질 저하 문제를 해결하기 위해.
• 직접 낮은 품질의 특징 처리를 고급 품질의 잠재 특징으로 대체하여 단일 이미지 비정련에서 강건성을 향상시키기 위해.
• 제어 이론에 영감을 얻은 폐쇄형 피드백 메커니즘을 도입하여 학습 중 모델 오류를 탐지하고 수정하기 위해.
• 피드백 기반 방식으로 예측 오류를 동적으로 보완함으로써 특징 표현 학습을 향상시키기 위해.
• 표준 벤치마크와 실세계 비 오는 이미지 모두에서 뛰어난 정련 성능을 달성하기 위해.

제안 방법

• 이 방법은 자동 제어 시스템을 모델로 하여 반복적으로 특징 표현을 정교화하는 피드백 메커니즘을 사용한다.
• 예측된 특징과 진짜 특징 간의 격차를 식별하는 오류 탐지 모듈을 도입한다.
• 피드백 신호에 기반한 정련된 잠재 표현을 주입하여 낮은 품질의 특징을 보완하는 특징 보정 모듈을 제공한다.
• 피드백 루프가 여러 단계에 걸쳐 특징 품질을 향상시키는 반복 정련을 수행하는 조건부 생성자 아키텍처를 사용한다.
• 폐쇄형 피드백 루프는 지속적으로 특징을 조정하여 불확실성을 줄이고 강건성을 향상시킨다.
• 특징 학습 및 오류 보정을 향상시키기 위해 잔차 연결과 주의 메커니즘을 통합한 엔드 투 엔드 학습을 통합한다.

실험 결과

연구 질문

• RQ1 단일 이미지 비정련 네트워크에서 모델의 불확실성과 낮은 품질의 특징 임베딩은 어떻게 완화할 수 있는가?
• RQ2 폐쇄형 피드백 메커니즘이 비정련 작업의 표현 품질 향상에 얼마나 기여하는가?
• RQ3 반복적인 오류 탐지 및 특징 보정은 실세계 비 오는 이미지에서의 일반화 성능 향상에 기여하는가?
• RQ4 성능 및 강건성 측면에서 피드백 기반 특징 정련은 기존 엔드 투 엔드 정련 아키텍처와 비교해 어떻게 다를까?
• RQ5 고품질 잠재 특징 학습이 정련 정확도와 시각적 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 Rain100L 및 Cityscapes 데이터셋에서 최신 기술을 달성하며, PSNR 및 SSIM 지표에서 이전 방법을 능가한다.
• 실세계 Rain100 데이터셋에서 기준 모델 대비 시각적 품질 향상과 구조적 보존 측면에서 뚜렷한 개선을 보였다.
• 잔차 오차 분석을 통해 피드백 메커니즘이 표준 정련 네트워크 대비 오류 전파를 30% 감소시켰다.
• 제거 분석 결과 피드백 기반 특징 보정이 성능 향상에 가장 기여하며, 특히 복잡한 빗줄기 패턴에서 두드러진다.
• 합성 데이터셋을 넘어서도 예상치 못한 실세계 비 오는 이미지에 잘 일반화되어, 실세계 적용에서의 강건성을 입증했다.