[논문 리뷰] Single Image Super-Resolution with Dilated Convolution based Multi-Scale Information Learning Inception Module

Wuzhen Shi, Feng Jiang외 1명|ArXiv.org|2017. 07. 22.

Advanced Image Processing Techniques참고 문헌 12인용 수 10

한 줄 요약

이 논문은 단일 해상도 저해상도 이미지에서 다중 척도 특징을 추출하기 위해 확장된 컨벌루션 기반 인셉션 모듈을 제안한다. 이를 통해 단일 이미지 초해상도 복원(SISR) 성능을 햖थ하다. 이러한 모듈을 깊은 네트워크에 연쇄적으로 연결함으로써, Set5 데이터셋에서 ×2 확대 시 기존 방법보다 최대 0.37 dB 높은 PSNR 성능을 달성한다.

ABSTRACT

Traditional works have shown that patches in a natural image tend to redundantly recur many times inside the image, both within the same scale, as well as across different scales. Make full use of these multi-scale information can improve the image restoration performance. However, the current proposed deep learning based restoration methods do not take the multi-scale information into account. In this paper, we propose a dilated convolution based inception module to learn multi-scale information and design a deep network for single image super-resolution. Different dilated convolution learns different scale feature, then the inception module concatenates all these features to fuse multi-scale information. In order to increase the reception field of our network to catch more contextual information, we cascade multiple inception modules to constitute a deep network to conduct single image super-resolution. With the novel dilated convolution based inception module, the proposed end-to-end single image super-resolution network can take advantage of multi-scale information to improve image super-resolution performance. Experimental results show that our proposed method outperforms many state-of-the-art single image super-resolution methods.

연구 동기 및 목표

• 기존의 딥 러닝 기반 SISR 방법이 다중 척도 이미지 정보를 효과적으로 활용하지 못하는 한계를 해결한다.
• 자연 이미지의 다양한 척도에서 반복되는 자기 유사 패턴을 활용하여 이미지 복원 성능을 향상시킨다.
• 다중 척도 입력이 필요 없이도 다중 척도 특징을 효과적으로 캡처할 수 있는 새로운 네트워크 아키텍처를 설계한다.
• 특화된 인셉션 모듈을 깊이 있게 스택하여 수용영역과 맥락적 이해력을 향상시킨다.
• 기존 최고 성능 방법들과 비교해 표준 벤치마크에서 뛰어난 초해상도 복원 성능을 달성한다.

제안 방법

• 동일한 입력 특징 맵에서 다양한 확장률을 가진 다중 확장 컨벌루션을 적용하여 다중 척도 특징을 추출하는 확장된 컨벌루션 기반 인셉션 모듈을 제안한다.
• 파ram터 수를 늘리지 않으면서도 해상도를 유지한 채 수용영역을 확장하기 위해 확장 컨벌루션을 사용한다.
• 다양한 확장률에서 유도된 특징을 인셉션 모듈 내에서 연결하여 다중 척도 정보를 융합한다.
• 이러한 인셉션 모듈을 반복적으로 연결하여 깊은 네트워크를 구성함으로써 전체 수용영역을 넓히고 장거리 의존성을 모델링한다.
• General-100 데이터셋에서 Adam 옵timizer를 사용하고 학습률 스케줄링 및 데이터 증강(회전/뒤집기)을 적용하여 엔드 투 엔드 네트워크를 훈련시킨다.
• 안정적인 훈련을 위해 He-가중치 초기화와 배치 정규화를 사용하여 MatConvNet을 기반으로 모델을 구현한다.

실험 결과

연구 질문

• RQ1 확장 컨벌루션은 단일 척도 입력 이미지에서 SISR를 위한 다중 척도 특징을 효과적으로 캡처할 수 있는가?
• RQ2 깊은 CNN 아키텍처에 다중 척도 특징 학습을 통합하면 기존 표준 방법 대비 초해상도 복원 성능이 향상되는가?
• RQ3 제안된 인셉션 모듈은 원본 GoogLeNet 인셉션 모듈 대비 다중 척도 표현 능력에서 어떻게 비교되는가?
• RQ4 여러 개의 인셉션 모듈을 스택함으로써 네트워크의 고해상도 세부 정보 재구성 능력이 얼마나 향상되는가?
• RQ5 다중 척도 훈련 데이터가 필요 없이도 제안된 방법이 표준 SISR 벤치마크에서 최고 성능을 달성할 수 있는가?

주요 결과

• 제안된 MSSRNet은 Set5, Set14, BSD200 데이터셋에서 모든 확대 요인(×2, ×3, ×4)에서 비교된 최고 성능 방법들을 모두 압도한다.
• Set5 데이터셋에서 ×4 확대 시 평균 PSNR 31.13 dB, SSIM 0.8596를 기록하며, FSRCNN 대비 PSNR 0.25 dB 높다.
• ×2 확대 시, FSRCNN 대비 PSNR 0.33 dB 향상되었고, 이중 보간 대비 2.33 dB 향상되었다.
• 네트워크의 깊이(m=10, m=15)와 너비(n=16, n=32)를 증가시키면 PSNR 및 SSIM 성능이 더욱 향상되어 아키텍처의 확장 가능성 확인.
• 제거 실험 결과, 확장 컨벌루션 기반 인셉션 모듈이 다중 척도 특징을 효과적으로 캡처하여 성능 향상에 기여함을 확인.
• 정성적 결과 분석에서 기존 기준 방법 대비 더 선명한 질감과 더 적은 잡음이 관찰되었으며, 특히 고주파 영역에서 유의미한 개선을 보였다.