[논문 리뷰] Sparse Sampling Transformer with Uncertainty-Driven Ranking for Unified Removal of Raindrops and Rain Streaks

Sixiang Chen, Ye Tian외 4명|arXiv (Cornell University)|2023. 08. 27.

Image Enhancement TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 일관된 비줄기와 비방울 제거를 위한 불확실성 기반 순서 정렬을 갖춘 희소 샘플링 트랜스포머인 UDR-S2Former을 제안한다. 전역적인 열악화 관계를 적응적으로 샘플링하고, 불확실성 맵을 활용해 특징 순서를 안내함으로써, 최소한의 계산 비용으로 최신 기술 성능을 달성하며, 다양한 벤치마크에서 이전 방법들을 능가한다.

ABSTRACT

In the real world, image degradations caused by rain often exhibit a combination of rain streaks and raindrops, thereby increasing the challenges of recovering the underlying clean image. Note that the rain streaks and raindrops have diverse shapes, sizes, and locations in the captured image, and thus modeling the correlation relationship between irregular degradations caused by rain artifacts is a necessary prerequisite for image deraining. This paper aims to present an efficient and flexible mechanism to learn and model degradation relationships in a global view, thereby achieving a unified removal of intricate rain scenes. To do so, we propose a Sparse Sampling Transformer based on Uncertainty-Driven Ranking, dubbed UDR-S2Former. Compared to previous methods, our UDR-S2Former has three merits. First, it can adaptively sample relevant image degradation information to model underlying degradation relationships. Second, explicit application of the uncertainty-driven ranking strategy can facilitate the network to attend to degradation features and understand the reconstruction process. Finally, experimental results show that our UDR-S2Former clearly outperforms state-of-the-art methods for all benchmarks.

연구 동기 및 목표

• 복잡한 실제 환경에서 비규칙적인 비줄기와 비방울을 동시에 제거하는 도전 과제를 해결하기 위해.
• 다양한 형태, 크기, 위치를 가진 비 아티팩트 간의 장거리 열악화 관계를 모델링하기 위해.
• 불확실성 맵을 명시적으로 활용해 어텐션과 샘플링을 안내함으로써 이미지 복원 성능을 향상시키기 위해.
• 세부 사항 복구 능력을 유지하면서도 경량이고 효율적인 아키텍처를 개발하기 위해.

제안 방법

• 전체 이미지에서 관련된 열악화 특징을 적응적으로 샘플링하는 희소 샘플링 어텐션(SSA) 메커니즘을 제안하여 고정된 창 분할 방식을 피한다.
• 불확실성 맵을 사용해 특징 선택과 어텐션을 안내하는 불확실성 기반 순서 정렬(UDR) 전략을 도입하여 복잡한 열악화 영역에 더 집중하도록 한다.
• 샘플링 중에 주목할 만한 열악화 패턴에 어텐션을 명시적으로 제한하기 위해 불확실성 순서 정렬 기반의 제약 행렬을 구성한다.
• 부분적으로 열악화된 영역에서의 국소 복원을 강화하기 위해 학습 가능한 상관관계 맵 순서 정렬 메커니즘을 활용한다.
• 잔차 연결을 갖춘 다중 해상도 이미지 복원 모듈을 사용하여 비정련 중 세부 사항을 유지한다.
• 불확실성 추정을 어텐션 메커니즘에 통합하여 고불확실성 영역에서의 강인성과 모델링 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 불확실성 맵이 비정련 네트워크에서 어텐션 샘플링을 안내하는 데 효과적으로 활용될 수 있는가?
• RQ2 고정된 창 자기어텐션 대비 적응적이고 전역적인 열악화 특징 샘플링이 복잡한 비 패턴을 처리하는 데 어떻게 비교되는가?
• RQ3 명시적인 불확실성 특징 순서 정렬이 통합 비 제거 성능에 어떤 영향을 미치는가?
• RQ4 비용이 많이 들거나 고성능을 요구하는 NAS나 무거운 계산에 의존하지 않고도 경량 트랜스포머 기반 아키텍처가 최신 기술 성능을 달성할 수 있는가?
• RQ5 제안된 방법은 조밀하거나 대규모 비 아티팩트가 있는 영역에서 세부 사항을 어떻게 유지하는가?

주요 결과

• UDR-S2Former는 RainDS-Syn 벤치마크에서 PSNR 36.91을 기록하여 이전 최신 기술 방법들을 크게 능가한다.
• 제거 실험 결과, 불확실성 기반 순서 정렬과 제약 행렬이 모두 필수적임을 확인하였으며, 이를 제거하면 PSNR가 0.5 dB 이상 감소한다.
• 모델은 뛰어난 시각적 품질을 보이며, 조밀하고 겹치는 비줄기와 비방울이 있는 장면에서도 세부 사항과 질감을 잘 유지한다.
• Restormer, IDT, NAFNet과 비교해 UDR-S2Former는 실제 비 환경에서 더 선명한 출력을 생성하며 뿌연 영역과 잔상이 적다.
• 보조 실험 결과에 따르면, NAS 기반 또는 무거운 트랜스포머 모델보다 낮은 메모리 사용량과 빠른 처리 속도를 유지하며 높은 효율성을 확보한다.
• 불확실성 맵이 열악한 영역에 더 집중되어 있음을 확인하여, 이를 어텐션 안내 신호로 사용하는 설계의 타당성을 입증한다.