[논문 리뷰] Component Divide-and-Conquer for Real-World Image Super-Resolution

Pengxu Wei, Ziwei Xie외 5명|arXiv (Cornell University)|2020. 08. 05.

Advanced Image Processing Techniques참고 문헌 33인용 수 9

한 줄 요약

이 논문은 다양한 열화 과정을 포함한 대규모 실세계 이미지 초해상도 데이터셋인 DRealSR를 소개하고, 평면, 에지, 코너 성분으로 이미지를 분해하여 작업별 학습을 안내하는 Component Divide-and-Conquer (CDC) 네트워크를 제안한다. Component-Attentive Blocks와 중간 지도를 활용하고, 기울기 가중 손실을 적용함으로써 CDC는 실세계 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 특히 ×4 초해상도에서 PSNR를 0.4 dB 향상시켰다.

ABSTRACT

In this paper, we present a large-scale Diverse Real-world image Super-Resolution dataset, i.e., DRealSR, as well as a divide-and-conquer Super-Resolution (SR) network, exploring the utility of guiding SR model with low-level image components. DRealSR establishes a new SR benchmark with diverse real-world degradation processes, mitigating the limitations of conventional simulated image degradation. In general, the targets of SR vary with image regions with different low-level image components, e.g., smoothness preserving for flat regions, sharpening for edges, and detail enhancing for textures. Learning an SR model with conventional pixel-wise loss usually is easily dominated by flat regions and edges, and fails to infer realistic details of complex textures. We propose a Component Divide-and-Conquer (CDC) model and a Gradient-Weighted (GW) loss for SR. Our CDC parses an image with three components, employs three Component-Attentive Blocks (CABs) to learn attentive masks and intermediate SR predictions with an intermediate supervision learning strategy, and trains an SR model following a divide-and-conquer learning principle. Our GW loss also provides a feasible way to balance the difficulties of image components for SR. Extensive experiments validate the superior performance of our CDC and the challenging aspects of our DRealSR dataset related to diverse real-world scenarios. Our dataset and codes are publicly available at https://github.com/xiezw5/Component-Divide-and-Conquer-for-Real-World-Image-Super-Resolution

연구 동기 및 목표

• 초해상도에서 시뮬레이션된 열화와 실세계 열화 간의 도메인 갭을 해결하기 위해 현실적인 벤치마크를 구축함으로써.
• 평탄한 영역이나 에지처럼 복원이 쉬운 영역을 선호하는 균일한 픽셀 단위 손실의 한계를 극복함으로써.
• 저수준 이미지 성분 기반으로 영역별 초해상도 목표를 모델링하여 복잡한 무늬의 복원을 향상시키기 위해.
• 코너나 미세 무늬와 같이 복원이 어려운 성분을 적응적으로 주시하고 복원하는 학습 프레임워크를 개발함으로써.
• 다양한 실세계 열화 상황에서의 일반화 능력과 강건성을 입증함으로써.

제안 방법

• 다양한 장치에서 유래한 다양한 열화 과정을 포함한 대규모 실세계 이미지 초해상도 데이터셋인 DRealSR를 제안하여, 시뮬레이션된 이중선형 보간 내림샘플링을 넘는 현실적인 이미지 열화를 캡처함.
• Harris 코너 검출에 영감을 얻어, 이미지를 세 가지 저수준 성분으로 분해하는 Component Divide-and-Conquer (CDC) 프레임워크를 설계함: 평면 영역, 에지, 코너.
• 각 성분 전용인 세 개의 Component-Attentive Blocks (CABs)를 구현하여 중간 지도를 활용해 주의 마스크와 중간 초해상도 예측을 학습함.
• 성분의 복원 난이도에 따라 손실을 재가중하는 Gradient-Weighted (GW) 손실을 도입하여, 코너와 같은 어려운 영역을 우선시함.
• 다중 척도 특징을 추출하고 계층적 특징 학습을 지원하기 위해 스택드 아워글라스 기반의 기본 네트워크(HGSR)를 구축함.
• 각 성분을 별도로 처리하고 전용 주의를 적용하는 분할-정복 학습 전략을 사용하여 전체 복원 정밀도를 향상시킴.

실험 결과

연구 질문

• RQ1 실세계 이미지 열화는 시뮬레이션된 열화와 어떻게 다를까? 기존 초해상도 모델에 어떤 과제를 안기나?
• RQ2 평면, 에지, 코너와 같은 이미지 성분을 별개의 실체로 모델링하면 실세계 이미지 초해상도 성능 향상에 기여할 수 있는가?
• RQ3 주의 마스크와 중간 지도를 활용한 성분별 학습 전략은 전통적인 픽셀 단위 손실보다 더 나은 세부 사항 복원을 이끌 수 있는가?
• RQ4 복원 난이도를 고려한 기울기 가중 손실이 다양한 열화 유형 간의 모델 일반화 능력을 얼마나 향상시키는가?
• RQ5 복잡한 열화를 가진 실세계 데이터셋에서 훈련 및 테스트된 경우, 제안된 CDC 모델은 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• DRealSR 데이터셋은 기존의 벤치마크보다 훨씬 더 도전적인데, RealSR에서 훈련된 모델이 DRealSR에서 테스트할 경우 성능이 크게 떨어지며, 특히 ×4 스케일에서 두드러진다.
• 제안된 CDC 모델은 실세계 열화 조건에서 DRealSR에서 PSNR 32.54 dB를 달성하여, ×4 초해상도에서 모든 최신 기술 수준의 방법들을 최대 0.4 dB 이상 앞서나간다.
• 기울기 가중 손실은 성분 간 학습 균형을 효과적으로 조절하며, 이전에 복원이 부족했던 코너 영역이 표준 L1 손실 대비 더 나은 세부 사항 정밀도를 보여준다.
• 다른 데이터셋 테스트 결과, 시뮬레이션된 이중선형 보간 열화에서 훈련된 모델은 실세계 열화로의 일반화에 실패하는 반면, DRealSR에서 훈련된 CDC는 강력한 성능을 유지한다.
• 시각적 비교 결과, CDC는 EDSR, RCAN, LP-KPN에서 흔히 볼 수 있는 아티팩트와 흐림 현상 없이 더 선명하고 자연스러운 무늬를 생성한다.
• 조금의 이중선형 보간된 DRealSR 이미지에서 훈련된 경우조차도, CDC는 동일한 데이터에서 훈련된 최신 기술 수준의 모델보다 더 뛰어난 성능을 보이며, 그 강건성과 일반화 능력을 입증한다.