[논문 리뷰] Difficulty-aware Image Super Resolution via Deep Adaptive Dual-Network

Jinghui Qin, Ziwei Xie외 2명|arXiv (Cornell University)|2019. 04. 11.

Advanced Image Processing Techniques참고 문헌 18인용 수 4

한 줄 요약

이 논문은 깊이 있는 적응형 이중망 구조를 사용하여 어려움 인식 기반 이미지 초해상도 복원 방법을 제안한다. 이 방법은 부드러운 영역을 위한 평탄한 브랜치(PB)와 무늬가 있는 영역을 위한 복잡한 브랜치(CB)로 나누어 각각의 영역을 별도로 처리한다. PSNR 기반의 어려움 인식 네트워크를 활용하여 적응형 영역 마스크를 생성함으로써, 표준 벤치마크에서 최신 기술 수준의 성능을 달성하며, ×2 스케일링에서 Urban100에서 이전 방법들보다 최대 0.50 dB 높은 PSNR 성능을 기록한다.

ABSTRACT

Recently, deep learning based single image super-resolution(SR) approaches have achieved great development. The state-of-the-art SR methods usually adopt a feed-forward pipeline to establish a non-linear mapping between low-res(LR) and high-res(HR) images. However, due to treating all image regions equally without considering the difficulty diversity, these approaches meet an upper bound for optimization. To address this issue, we propose a novel SR approach that discriminately processes each image region within an image by its difficulty. Specifically, we propose a dual-way SR network that one way is trained to focus on easy image regions and another is trained to handle hard image regions. To identify whether a region is easy or hard, we propose a novel image difficulty recognition network based on PSNR prior. Our SR approach that uses the region mask to adaptively enforce the dual-way SR network yields superior results. Extensive experiments on several standard benchmarks (e.g., Set5, Set14, BSD100, and Urban100) show that our approach achieves state-of-the-art performance.

연구 동기 및 목표

• 기존의 단일 모델 초해상도 네트워크가 모든 이미지 영역을 동일하게 처리하는 데서 비롯되는 한계를 해결한다. 이는 복원의 어려움 수준이 영역에 따라 다름에도 불구하고 적용된다.
• 이미지 영역을 그 내재된 초해상도 복원의 어려움 수준에 따라 식별하고 분류하여 맞춤형 처리를 가능하게 한다.
• 한 가지 영역은 쉬운(평탄한) 영역을 전담하고 다른 하나는 어려운(복잡한) 영역을 전담하는 이중 브랜치 네트워크 아키텍처를 설계한다.
• 학습된 마스크를 사용해 영역을 가장 적합한 브랜치로 적응적으로 라우팅함으로써 전체 초해상도 성능을 향상시킨다.
• 지역 수준의 어려움 인식 처리가 통합 모델에 비해 더 뛰어난 복원 품질을 제공함을 입증한다.

제안 방법

• 이미지 패치를 쉬운지 어려운지 분류하기 위해 이중화 보간에서의 PSNR 사전 지식을 사용하는 어려움 식별 모듈(DIM)을 도입한다.
• 이중 방식 초해상도 네트워크에서 별도의 평탄한 브랜치(PB)와 복잡한 브랜치(CB)를 훈련한다: PB는 부드러운/쉬운 영역에 최적화되고, CB는 무늬가 있는/어려운 영역에 최적화된다.
• 공간 마스크를 생성하여 각 이미지 패치를 가장 적합한 브랜치에 할당한다.
• 추론 중에 적응형 마스크를 적용하여 각 영역을 해당 브랜치로 라우팅함으로써 선택적이고 최적의 처리를 가능하게 한다.
• 재구성 손실과 인지적 손실을 조합한 복합 손실 함수를 사용해 전체 프레임워크를 엔드 투 엔드로 훈련한다.
• 이중화 보간된 저해상도 패치와 그에 대응하는 고해상도 복원 결과 간의 PSNR 값을 어려움의 지표로 활용하여, 약한 지도 학습 기반의 어려움 추정을 가능하게 한다.

Fig. 1 : Qualitative comparison with EDSR and SRCNN. EDSR reconstructs more clearly on the complex/hard region than SRCNN, but it reconstructs worse on the smooth/plain region than SRCNN. This reveals that it is suboptimal to incorporate a single model to process all regions.

실험 결과

연구 질문

• RQ1 이미지 초해상도 복원을 어려움 인식 기반의 지역별 작업으로 모델링할 경우, 균일한 처리 방식을 넘어서 복원 품질 향상이 이루어질 수 있는가?
• RQ2 PSNR 기반 사전 지식은 초해상도에서 어려운 영역과 쉬운 영역를 식별하는 데 얼마나 효과적인가?
• RQ3 각 브랜치가 어려움 수준에 맞게 특화된 이중 브랜치 네트워크 아키텍처가 단일 통합 모델보다 우월한가?
• RQ4 특화된 브랜치에 이미지 영역을 적응적으로 라우팅하는 것이 표준 벤치마크에서 더 높은 PSNR 및 SSIM 점수를 제공하는가?
• RQ5 PB와 CB를 별도로 훈련하는 것이 다양한 이미지 데이터셋에서 혼합된 어려움 수준을 가진 환경에서 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 최신 기술 수준의 PSNR 성능을 달성하였으며, ×2 스케일링에서 이전 방법들에 비해 Urban100에서 최대 0.50 dB 높은 성능을 기록하였다.
• Set14에서, ×2 스케일링에서 기준 모델인 EDSR에 비해 0.46 dB의 PSNR 향상을 달성하여 일관된 개선을 보였다.
• 이중 브랜치 적응형 접근 방식(PB + CB)은 각 개별 브랜치보다 뛰어난 성능을 보였으며, ×4 스케일링에서 Urban100에서 MemNet에 비해 각각 0.30 dB와 0.36 dB의 PSNR 향상을 기록하였다.
• 어려운 이미지 패치에서는 복잡한 브랜치(CB)가 평탄한 브랜치(PB)보다 훨씬 높은 PSNR(예: ×2에서 33.06 dB)를 기록하여 전용화의 효과를 확인하였다.
• 쉬운 이미지 패치에서는 평탄한 브랜치(PB)가 뛰어난 성능을 보였으며(예: ×2에서 53.95 dB), 이는 부드러운 영역에서의 강점을 입증한다.
• 어려움 모듈로 인한 추가적인 계산 비용에도 불구하고, IDN 및 LapSRN과 같은 최신 기술 수준의 방법들과 비교해도 추론 속도와 파라미터 효율성 면에서 경쟁력을 유지하였다.

Fig. 2 : Overview of our dual-way SR framework. Our framework consists of three key components: difficulty identifier module(DIM), mask generator and a dual-way SR network. Our dual-way SR network consists of two branches: a complex branch(CB) and a plain branch(PB). The CB is used to restore comple