[논문 리뷰] Blind Super-Resolution for Remote Sensing Images via Conditional Stochastic Normalizing Flows

Hanlin Wu, Ning Ni외 2명|arXiv (Cornell University)|2022. 10. 14.

Advanced Image Processing Techniques인용 수 7

한 줄 요약

이 논문은 복잡하고 변동성이 있는 외부 잡음과 블러 커널을 포함한 실제 원격 감시 영상에서의 블라인드 초해상도 문제를 다루기 위해 확률적 정규화 흐름(SNF)을 사용하는 BlindSRSNF라는 블라인드 초해상도 프레임워크를 제안한다. 이는 저해상도 입력에 대해 고해상도 영상의 조건부 확률 분포를 명시적으로 모델링한다. 대조적 학습을 통한 잡음 표현 학습과 역방향 확산 과정에서의 간격 샘플링을 통해, 기존 GAN 기반 접근법에 비해 더 뛰어난 시각적 품질과 향상된 학습 안정성, 더 적은 가짜 질감 아티팩트를 달성한다.

ABSTRACT

Remote sensing images (RSIs) in real scenes may be disturbed by multiple factors such as optical blur, undersampling, and additional noise, resulting in complex and diverse degradation models. At present, the mainstream SR algorithms only consider a single and fixed degradation (such as bicubic interpolation) and cannot flexibly handle complex degradations in real scenes. Therefore, designing a super-resolution (SR) model that can cope with various degradations is gradually attracting the attention of researchers. Some studies first estimate the degradation kernels and then perform degradation-adaptive SR but face the problems of estimation error amplification and insufficient high-frequency details in the results. Although blind SR algorithms based on generative adversarial networks (GAN) have greatly improved visual quality, they still suffer from pseudo-texture, mode collapse, and poor training stability. In this article, we propose a novel blind SR framework based on the stochastic normalizing flow (BlindSRSNF) to address the above problems. BlindSRSNF learns the conditional probability distribution over the high-resolution image space given a low-resolution (LR) image by explicitly optimizing the variational bound on the likelihood. BlindSRSNF is easy to train and can generate photo-realistic SR results that outperform GAN-based models. Besides, we introduce a degradation representation strategy based on contrastive learning to avoid the error amplification problem caused by the explicit degradation estimation. Comprehensive experiments show that the proposed algorithm can obtain SR results with excellent visual perception quality on both simulated LR and real-world RSIs.

연구 동기 및 목표

• 다양한 블러 커널과 노이즈 수준을 포함한 실제 원격 감시 영상에서 발생하는 복잡하고 변동성이 큰 잡음 문제를 해결한다.
• 고정된 잡음 모델에 의존하거나 잡음 추정에서 오차가 누적되는 기존의 블라인드 초해상도 방법의 한계를 극복한다.
• GAN 기반 블라인드 SR 모델이 자주 겪는 모드 붕괴와 가짜 질감 아티팩트 문제로 인한 시각적 품질 저하를 개선하여 더 나은 시각적 품질과 학습 안정성을 확보한다.
• 재학습 없이도 샘플링 간격 조절을 통해 질감의 풍부함을 제어할 수 있는 유연한 추론 메커니즘을 개발한다.
• 정규화 흐름을 사용하여 저해상도에서 고해상도 영상 공간으로의 조건부 확률 분포를 엔드 투 엔드로 학습한다.

제안 방법

• 저해상도 입력에 대해 고해상도 영상의 조건부 확률 분포를 모델링하기 위해 확률적 정규화 흐름(SNF)을 활용하여 음의 로그우도(NLL)의 명시적 최적화를 가능하게 한다.
• 저해상도 영상과 학습된 잡음 표현 벡터가 함께 고해상도 출력 생성을 조건짓는 조건부 역방향 확산 과정을 도입한다.
• 특징맵의 차원을 줄이고 샘플링 효율을 향상시키기 위해 픽셀 단위의 폴딩과 셔플링 연산을 적용한다.
• 역방향 과정에서 간격 샘플링 전략을 구현하여 추론 속도와 재구성 품질의 균형을 맞추며, 샘플링 간격이 질감의 풍부함을 제어한다.
• 정확한 잡음 커널 추정이 필요 없이 블러와 노이즈 특성을 포괄하는 강건한 잡음 표현 벡터를 학습하기 위해 대조적 학습을 적용한다.
• GAN의 적대적 학습에 비해 더 단순한 훈련을 가능하게 하는 가능도에 대한 변동형 하한(lower bound) 최적화를 통해 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 명시적인 가능도 최적화를 통해 작동하는 흐름 기반 생성 모델이 원격 감시 영상에 대해 GAN 기반 블라인드 초해상도 모델보다 더 나은 시각적 품질과 학습 안정성을 달성할 수 있는가?
• RQ2 대조적 학습을 통한 제안된 잡음 표현 학습 방식이 알려지지 않은 다양한 잡음 조건에 대해 모델의 강건성에 어떤 영향을 미치는가?
• RQ3 역방향 확산 과정에서 시각적 품질, 추론 속도, 아티팩트 억제를 균형 잡는 데 최적의 샘플링 간격은 무엇인가?
• RQ4 모델은 잡음 사전 지식이나 반복적 커널 추정에 의존하지 않고도 고해상도의 사진처럼 현실적인 초해상도 영상을 생성할 수 있는가?
• RQ5 기존의 블라인드 SR 접근법에 비해 제안된 방법이 가짜 질감 아티팩트와 공간 왜곡을 얼마나 줄이는가?

주요 결과

• 샘플링 간격을 50으로 설정했을 때, GeoEye-1 데이터셋에서 모든 비교 방법 대비 가장 낮은 Fréchet Inception Distance(FID) = 66.65와 LPIPS = 0.1485 점수를 기록하여 최고의 성능을 달성했다.
• 저해상도 영상의 블러 커널 λ₁=3.6, λ₂=2.4, θ=0, 노이즈 수준 10 조건에서 GeoEye-1 데이터셋에서 PSNR 20.82 dB의 성능을 기록했으며, 기준 모델 대비 더 뛰어난 시각적 품질을 확보했다.
• 샘플링 간격을 50로 설정할 경우, 시각적 품질(FID 및 LPIPS가 낮음), PSNR, 추론 속도 사이의 최적의 균형을 확보했으며, 실행 시간은 0.45초였다.
• 절단 실험 결과, 잡음 표현 학습 모듈이 PSNR 성능을 0.3–0.5 dB 향상시키며 가짜 질감을 크게 감소시킨다는 것이 확인되었다.
• 특히 농경지와 도시 지역과 같이 복잡한 영역에서 GAN 기반 기준 모델 대비 더 선명하고 현실적인 질감을 생성함을 시각적 비교를 통해 입증했다.
• 모델는 추론 시 매우 민감한 유연성을 보이며, 재학습 없이도 샘플링 간격 조절을 통해 질감의 풍부함을 제어할 수 있다. 이는 GAN 기반 모델에서 구현되지 않은 기능이다.