[논문 리뷰] Image Super-Resolution Using Attention Based DenseNet with Residual Deconvolution

Zhuangzi Li|arXiv (Cornell University)|2019. 07. 03.

Advanced Image Processing Techniques참고 문헌 27인용 수 10

한 줄 요약

이 논문은 주어진 이미지 초해상도 프레임워크인 ADRD를 제안한다. 이는 잔차 복소화를 통한 주목적 기반 DenseNet 기반의 엔드 투 엔드 프레임워크이다. 적응형 특징 융합을 위한 가중치가 부여된 밀집 블록, 고주파 영역을 강조하기 위한 공간 주목적 모듈, 고주파 세부 정보를 정확하게 복원하기 위한 잔차 복소화 전략을 도입하여, 정량적 및 정성적 평가에서 벤치마크 데이터셋에서 최고 성능을 달성한다.

ABSTRACT

Image super-resolution is a challenging task and has attracted increasing attention in research and industrial communities. In this paper, we propose a novel end-to-end Attention-based DenseNet with Residual Deconvolution named as ADRD. In our ADRD, a weighted dense block, in which the current layer receives weighted features from all previous levels, is proposed to capture valuable features rely in dense layers adaptively. And a novel spatial attention module is presented to generate a group of attentive maps for emphasizing informative regions. In addition, we design an innovative strategy to upsample residual information via the deconvolution layer, so that the high-frequency details can be accurately upsampled. Extensive experiments conducted on publicly available datasets demonstrate the promising performance of the proposed ADRD against the state-of-the-arts, both quantitatively and qualitatively.

연구 동기 및 목표

• 이미지 초해상도의 불안정한 성격을 개선함으로써 특징 표현 및 고주파 세부 정보 복원을 향상시키기 위해.
• 기존의 밀집 네트워크가 계층적 특징을 동일하게 취급하여 정보성 특징의 적응적 선택이 부족한 점을 보완하기 위해.
• 모서리 및 질감과 같은 고주파 성분의 모델링을 향상시키기 위해 새로운 공간 주목적 기반 메커니즘을 도입하기 위해.
• 잔차 정보에 집중함으로써 복소화 과정을 재설계하여 고주파 세부 정보의 복원 정확도를 향상시키기 위해.
• 기존 최고 수준의 방법들을 능가하는 강력하고 효과적인 딥 러닝 프레임워크를 개발하기 위해.

제안 방법

• 모든 이전 레이어의 특징이 적응적으로 가중치가 부여되고 현재 레이어에 연결되는 가중치가 부여된 밀집 블록(WDB)을 제안하여 특징 표현을 향상시킨다.
• WDB 내 잔차 특징에서 학습함으로써 정보성 영역을 강조하는 주목적 맵을 생성하는 공간 주목적(SA) 모듈을 도입한다.
• SA 모듈은 압축된 특징에 더해진 잔차 출력을 생성하여 고주파 콘텐츠를 강조하는 향상된 특징 맵을 만든다.
• 고주파 잔차 성분만을 복소화하여 복원하는 혁신적인 잔차 복소화 전략을 설계하여 저주파 정보를 건너뛰고 세밀한 세부 정보를 유지한다.
• 각 WDB 그룹의 입력과 향상된 특징 사이에 스킵 연결을 사용하여 학습 안정성과 기울기 흐름을 향상시킨다.
• 각 WDB 그룹 후에 특징을 압축하고 차원을 감소시키기 위한 버티컬 레이어를 사용한 후, 최종 복원 레이어를 통해 고해상도 이미지를 생성한다.

실험 결과

연구 질문

• RQ1 일반적인 특징 융합과 비교할 때, 밀집 블록 내에서 적응형 특징 가중치 부여가 이미지 초해상도의 특징 표현을 향상시키는가?
• RQ2 고주파 영역에 집중하는 공간 주목적 기반 메커니즘이 초해상도 이미지의 모서리 및 질감 보존에 긍정적인 영향을 미치는가?
• RQ3 고주파 세부 정보에 중점을 둔 잔차 복소화 전략이 표준 복소화 방식보다 복원 품질에서 뛰어나게 성능을 발휘하는가?
• RQ4 표준 벤치마크에서 PSNR 및 정성적 품질 측면에서 제안된 ADRD 프레임워크는 최고 수준의 기존 방법들과 비교해 어떤가?
• RQ5 ADRD에서 향상된 특징 표현은 저해상도 이미지 인식과 같은 후속 작업에서 얼마나 향상된 성능을 보이는가?

주요 결과

• Set5 데이터셋에서 노이즈 수준이 $5 \times 10^{-5}$ 일 때 ADRD는 PSNR 31.90을 기록하여 RDN 및 D-DBPN을 포함한 모든 비교 모델을 능가한다.
• Set5 데이터셋에서 높은 노이즈 수준 $5 \times 10^{-4}$ 일 때 ADRD는 PSNR 29.69를 유지하여 다른 모델들에 비해 뛰어난 노이즈에 대한 내성을 보여준다.
• 시각적 비교 결과, ADRD는 이질적인 영역인 모서리 및 미세 무늬에서 더 많은 局부 세부 정보와 질감을 유지하며, bicubic, LapSRN, RDN, D-DBPN에 비해 뛰어난 성능을 보인다.
• Pairs & Oxford 데이터셋에서의 인식 작업에서 ADRD는 Top-1 정확도를 2.3% 향상시켜 RDN의 1.2% 향상보다 뚜렷이 뛰어나다.
• Set5에서 이미지당 평균 추론 시간은 0.17초로, 모델의 복잡성에도 불구하고 효율적인 추론 속도를 보여준다.
• 제거 실험 결과 각 구성 요소인 가중치가 부여된 밀집 블록, 공간 주목적, 잔차 복소화가 전체 성능 향상에 기여하는 것으로 확인되었다.