[논문 리뷰] SREdgeNet: Edge Enhanced Single Image Super Resolution using Dense Edge Detection Network and Feature Merge Network

Kwan-Young Kim, Se Young Chun|arXiv (Cornell University)|2018. 12. 18.

Advanced Image Processing Techniques참고 문헌 27인용 수 12

한 줄 요약

SREdgeNet는 사전 학습된 EDSR 기반 초해상도 백본과 함께 조밀한 에지 검출 네트워크(DenseEdgeNet)와 특징 융합 네트워크(MergeNet)를 통합하여 단일 이미지 초해상도 개선 프레임워크를 제안한다. 표준 L1 손실 하에서 에지 사전 지식을 활용해 복원을 이끌어내어, 특히 ×8 확대에서 최고 수준의 구조적 유사도(SSIM)를 달성하면서도 경쟁적인 PSNR를 유지하며, 정량적 지표를 희생시키지 않고도 주관적 품질을 향상시킨다.

ABSTRACT

Deep learning based single image super-resolution (SR) methods have been rapidly evolved over the past few years and have yielded state-of-the-art performances over conventional methods. Since these methods usually minimized l1 loss between the output SR image and the ground truth image, they yielded very high peak signal-to-noise ratio (PSNR) that is inversely proportional to these losses. Unfortunately, minimizing these losses inevitably lead to blurred edges due to averaging of plausible solutions. Recently, SRGAN was proposed to avoid this average effect by minimizing perceptual losses instead of l1 loss and it yielded perceptually better SR images (or images with sharp edges) at the price of lowering PSNR. In this paper, we propose SREdgeNet, edge enhanced single image SR network, that was inspired by conventional SR theories so that average effect could be avoided not by changing the loss, but by changing the SR network property with the same l1 loss. Our SREdgeNet consists of 3 sequential deep neural network modules: the first module is any state-of-the-art SR network and we selected a variant of EDSR. The second module is any edge detection network taking the output of the first SR module as an input and we propose DenseEdgeNet for this module. Lastly, the third module is merging the outputs of the first and second modules to yield edge enhanced SR image and we propose MergeNet for this module. Qualitatively, our proposed method yielded images with sharp edges compared to other state-of-the-art SR methods. Quantitatively, our SREdgeNet yielded state-of-the-art performance in terms of structural similarity (SSIM) while maintained comparable PSNR for x8 enlargement.

연구 동기 및 목표

• 표준 L1/L2 손실 최소화로 인해 발생하는 딥러닝 기반 초해상도 방법의 본질적 흐림 문제를 해결하기 위해.
• 주관적 품질—특히 에지의 선명도—을 향상시키기 위해 주관적 손실이나 적대적 훈련에 의존하지 않고서도.
• 특히 대규모 확대(×8)에서 높은 정량적 성능(PSNR)을 유지하면서도 구조적 유사도(SSIM)를 크게 향상시키기 위해.
• 초해상도, 에지 검출, 특징 융합을 통합한 유일한 파이프라인으로서의 모odular 프레임워크 개발을 위해.

제안 방법

• 이 방법은 세 모듈로 구성된 파이프라인을 사용한다: (1) 계층적 풀링을 통한 다중 척도 특징 추출을 향상시킨 개선된 EDSR 변형(EDSR*).
• 두 번째 모듈인 DenseEdgeNet은 다중 복잡도 특징 추출과 조밀한 스킵 연결을 갖춘 조밀한 잔차 블록을 사용하여 초해상도 출력에서 고품질의 에지 맵을 생성한다.
• 세 번째 모듈인 MergeNet은 잔차 학습과 에지 스킵 연결을 사용하여 초해상도 출력과 에지 맵을 융합함으로써 구조적 세부 정보를 유지하고 강화한다.
• 최종 출력과 진짜 값 사이의 표준 L1 손실을 사용해 엔드 투 엔드로 훈련되며, 주관적 손실이나 적대적 손실을 회피한다.
• DenseEdgeNet은 다양한 척도에서 풍부한 에지 특징을 추출하기 위해 다중 복잡도 전략을 사용하여 에지 정렬과 완전성을 향상시킨다.
• MergeNet은 초해상도 및 에지 브랜치에서 얻은 浅층 및 깊은 특징을 융합하여 질감과 에지 정보의 효과적인 융합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 L1 손실 하에서 에지 사전 지식을 효과적으로 활용하여 흐림을 줄일 수 있는가?
• RQ2 전용 에지 검출 네트워크를 통합함으로써 PSNR가 저하되지 않고도 구조적 유사도(SSIM)를 향상시킬 수 있는가?
• RQ3 최고 수준의 방법들과 비교했을 때, 제안된 방법은 대규모 확대(예: ×8)에서 어떻게 성능을 내는가?
• RQ4 초해상도, 에지 검출, 특징 융합을 통합한 모듈식 3단계 아키텍처는 엔드 투 엔드 모델보다 주관적 품질에서 뛰어난 성능을 낼 수 있는가?

주요 결과

• Urban100 데이터셋에서 ×8 초해상도 처리 시, SREdgeNet는 0.626의 최고 수준의 SSIM 점수를 기록하여 비교된 모든 방법들을 앞서갔다.
• 동일한 데이터셋에서 SREdgeNet는 PSNR 27.25 dB로 두 번째로 높은 점수를 기록했으며, 최고 성능을 낸 D-DBPN보다 0.7 dB 떨어졌지만, SSIM에서 크게 앞서나갔다.
• BSD100 데이터셋에서 ×4 확대 시, SREdgeNet는 SSIM 0.791을 기록하여 모든 방법 중 세 번째로 높은 순위를 차지했으며, 최고 성능 모델들과 0.008 이내로 근접했다.
• 시각적 비교 결과, EDSR 및 D-DBPN과 비교해 SREdgeNet는 특히 복잡한 질감과 반복 구조에서 더 선명한 에지와 더 잘 보존된 패턴을 생성했다.
• 대규모 확대(×8)에서 뛰어난 성능을 보였으며, 픽셀당 가능한 해답의 수가 많아지기 때문에 에지 가이던스의 효과가 가장 두드러졌다.
• 빠른 추론 시간(그림 2 참조)을 통해 속도와 성능 사이의 유리한 트레이드오���을 달성하여 실세계 응용에 실용적임을 입증했다.