[논문 리뷰] An Attention-Based Approach for Single Image Super Resolution

Yuan Liu, Yuancheng Wang외 5명|arXiv (Cornell University)|2018. 07. 18.

Advanced Image Processing Techniques참고 문헌 32인용 수 5

한 줄 요약

이 논문은 단일 이미지 초해상도(SISR)를 위한 주의 기반 딥러닝 프레임워크를 제안하며, 고주파 성분을 가진 질감 영역을 명시적으로 식별하고 선택적으로 향상시킨다. 특징 융합을 위한 새로운 DenseRes 블록과 질감이 풍부한 영역에 집중하는 하이브리드 U-net 주의 메커니즘을 통합함으로써, 기준 데이터셋에서 VDSR보다 0.54 dB, DRCN보다 0.52 dB의 PSNR 향상을 달성하여 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

The main challenge of single image super resolution (SISR) is the recovery of high frequency details such as tiny textures. However, most of the state-of-the-art methods lack specific modules to identify high frequency areas, causing the output image to be blurred. We propose an attention-based approach to give a discrimination between texture areas and smooth areas. After the positions of high frequency details are located, high frequency compensation is carried out. This approach can incorporate with previously proposed SISR networks. By providing high frequency enhancement, better performance and visual effect are achieved. We also propose our own SISR network composed of DenseRes blocks. The block provides an effective way to combine the low level features and high level features. Extensive benchmark evaluation shows that our proposed method achieves significant improvement over the state-of-the-art works in SISR.

연구 동기 및 목표

• 기존 방법에서 자주 흐릿해지는 미세한 질감과 같은 고주파 세부 정보를 복원하는 데 도전하는 것.
• 균일한 복원을 적용하는 대신, 고주파 질감 영역을 명시적으로 식별하고 선택적으로 향상시킬 수 있는 메커니즘을 개발하는 것.
• 저수준과 고수준 특징 간의 특징 융합을 향상시켜 세부 정보의 더 나은 재구성성을 확보하는 것.
• 기존 SISR 네트워크에 통합할 수 있는 플러그인 주의 모듈을 설계하여 성능 향상을 도모하는 것.

제안 방법

• 밀도 있는 스킵 연결을 갖춘 잔차 블록 아키텍처인 DenseRes 블록을 도입하여 특징 흐름을 향상시키고 기울기 소실을 줄인다.
• 질감이 풍부한 영역과 매끄러운 영역을 구분하기 위해 하이브리드 밀도 연결 U-net을 주의 메커니즘으로 제안한다.
• 주의 맵을 특징 선택기로 사용하여 고주파 특징을 선택적으로 증폭하고 매끄러운 영역의 노이즈를 억제한다.
• 시각적 품질과 구조 유사성을 향상시키기 위해 MSE 외에 지각적 손실과 적대적 손실을 사용한다.
• SRResNet, VDSR, DRCN 등 기존 SISR 네트워크에 플러그인 구성 요소로 주의 모듈을 통합하여 성능 향상을 도모한다.
• 콘텐츠 손실, 지각적 손실, 적대적 손실의 조합을 사용하여 PSNR와 시각적 타당성 양면에서 최적화된 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 SISR에서 고주파 질감 영역을 효과적으로 식별하고 향상시키는 데 주의 메커니즘이 활용될 수 있는가?
• RQ2 제안된 DenseRes 블록이 SISR 네트워크의 특징 융합과 학습 안정성에 기여하는가?
• RQ3 주의 메커니즘이 기존 SISR 아키텍처에 일반화되고 통합되어 성능 향상을 이끌 수 있는가?
• RQ4 제안된 방법이 PSNR와 시각적 품질 측면에서 최신 기술 수준의 SISR 방법들과 비교해 정량적·정성적으로 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 표준 기준 데이터셋에서 VDSR보다 0.54 dB, DRCN보다 0.52 dB의 PSNR 향상을 달성하였다.
• SRResNet, VDSR, DRCN에 통합되었을 때 주의 메커니즘이 수렴 속도와 테스트 성능을 크게 향상시켰으며, 각각 0.15 dB, 0.093 dB, 0.18 dB의 성능 향상을 기록하였다.
• 시각적 비교 결과, 제안된 방법은 SRCNN, DRCN, VDSR 및 기타 최신 기술 수준 방법들보다 더 정확하게 미세 질감과 윤곽을 복원하였다.
• 모든 비교 방법들 중에서 가장 높은 SSIM 점수를 확보하여 구조적 정보의 유지 능력이 뛰어나다는 것을 보여주었다.
• 주의 메커니즘이 매끄러운 영역의 노이즈를 효과적으로 억제하면서도 질감 세부 정보를 강화하여 출력의 흐림을 줄였다.
• 주의 모듈의 플러그인 성격 덕분에 다양한 SISR 네트워크에 적용 가능하며, 광범위한 적용 가능성과 일관된 성능 향상을 입증하였다.