[논문 리뷰] SamplingAug: On the Importance of Patch Sampling Augmentation for Single Image Super-Resolution

Shizun Wang, Ming Lu외 5명|arXiv (Cornell University)|2021. 11. 30.

Advanced Image Processing Techniques참고 문헌 22인용 수 4

한 줄 요약

이 논문은 단일 이미지 초해상도 복원(SISR)를 위한 데이터 증강 방법인 SamplingAug를 제안한다. 이 방법은 가장 정보가 풍부한 저해상도(LR)-고해상도(HR) 패치 쌍을 샘플링하여 모델 성능을 향상시킨다. 균일한 샘플링 대신 선형 초해상도 복원과 HR 패치 간의 PSNR를 기반으로 한 히우리스틱 메트릭을 사용하며, 이는 적분 영상을 통해 가속화되어 약 100배의 속도 향상을 달성한다. 이 방법은 ×2, ×3, ×4 스케일링 인자에서 EDSR, RCAN, RDN, SRCNN, ESPCN 모델 전반에 걸쳐 일관된 PSNR 향상을 이룬다.

ABSTRACT

With the development of Deep Neural Networks (DNNs), plenty of methods based on DNNs have been proposed for Single Image Super-Resolution (SISR). However, existing methods mostly train the DNNs on uniformly sampled LR-HR patch pairs, which makes them fail to fully exploit informative patches within the image. In this paper, we present a simple yet effective data augmentation method. We first devise a heuristic metric to evaluate the informative importance of each patch pair. In order to reduce the computational cost for all patch pairs, we further propose to optimize the calculation of our metric by integral image, achieving about two orders of magnitude speedup. The training patch pairs are sampled according to their informative importance with our method. Extensive experiments show our sampling augmentation can consistently improve the convergence and boost the performance of various SISR architectures, including EDSR, RCAN, RDN, SRCNN and ESPCN across different scaling factors (x2, x3, x4). Code is available at https://github.com/littlepure2333/SamplingAug

연구 동기 및 목표

• 균일한 패치 샘플링의 한계를 해결하기 위해, 정보가 풍부한 패치를 우선시하지 못하는 문제를 해결한다.
• 계산 비용이 저렴한 방법을 개발하여 가장 정보가 풍부한 LR-HR 패치 쌍을 식별하고 샘플링한다.
• 네트워크 아키텍처를 수정하지 않고도 SISR 모델의 수렴성과 성능을 향상시킨다.
• 비중첩 샘플링 전략이 탐욕적이고 겹치는 샘플링 전략보다 성능상의 이점을 제공하는지 조사한다.

제안 방법

• 선형적으로 확대된 LR 패치와 해당되는 HR 패치 간의 PSNR를 측정하는 히우리스틱 메트릭을 제안하여 정보의 중요도를 평가한다.
• 적분 영상 기반으로 메트릭 계산을 가속화하여 계산 비용을 약 두 배수 감소시킨다.
• 세 가지 샘플링 전략을 적용한다: 상위 p% 패치를 탐욕적으로 샘플링하는 방식, 비최대 억제(NMS), 비중첩 패치를 위한 던지기 도트(TD) 샘플링.
• 샘플링 전략을 활용해 훈련 패치를 선택하고, 기존의 SISR 훈련 파이프라인에서 균일한 샘플링을 대체한다.
• 다양한 SISR 아키텍처(EDSR, RCAN, RDN, SRCNN, ESPCN)에 동일한 훈련 프로토콜을 적용하여 일반화 능력을 평가한다.
• 표준 벤치마크(DIV2K, Set5, Set14)와 여러 스케일링 인자(×2, ×3, ×4)에서 방법의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 데이터 기반 메트릭을 통해 정보가 풍부한 패치 쌍을 우선시하는 것이 균일한 샘플링 대비 SISR 성능 향상에 기여하는가?
• RQ2 적분 영상 기반으로 대규모에서 효율적인 경량 메트릭을 계산할 수 있는가?
• RQ3 비중첩 샘플링 전략(NMS, TD)이 상위 패치를 탐욕적으로 겹쳐 샘플링하는 것보다 성능 향상에 기여하는가?
• RQ4 기존의 데이터 증강 기법인 CutBlur와 PatchNet과 비교해 본다면, 제안된 방법은 어떤가?
• RQ5 다양한 SISR 아키텍처와 스케일링 인자 전반에 걸쳐 성능 향상이 일관되게 유지되는가?

주요 결과

• 제안된 SamplingAug 방법은 다양한 SISR 아키텍처에서 일관된 PSNR 향상을 달성하였으며, DIV2K 데이터셋에서 ×2 스케일링 시 EDSR 기준 +0.12 dB의 향상을 기록했다.
• 상위 p% 패치를 탐욕적으로 샘플링하는 전략이 NMS와 TD 샘플링보다 우수한 성능을 보였으며, 이는 높은 정보량을 지닌 겹치는 패치가 더 유익하다는 것을 시사한다.
• 적분 영상 기반으로 메트릭 계산 속도를 약 100배 향상시켜 모든 패치 쌍에 대한 효율적 평가가 가능해졌다.
• CutBlur보다 SamplingAug가 뛰어나며, 특히 사전학습이 없는 경우 CutBlur는 베이스라인 성능 이하로 떨어지지만, SamplingAug는 일관되게 성능 향상을 보였다.
• PatchNet과 OHEM보다 안정성과 성능 면에서 뛰어나며, OHEM는 수렴성이 불안정하고 성능 향상 폭이 낮았다.
• 절단 분석 결과, 제안된 메트릭이 에지 기반 메트릭(Sobel, Canny, Laplacian)보다 더 효과적이며, 최고의 PSNR 향상(+0.12 dB)을 달성했다.