[논문 리뷰] Multi-frame image super-resolution with fast upscaling technique

Longguang Wang, Zaiping Lin외 2명|arXiv (Cornell University)|2017. 06. 20.

Advanced Image Processing Techniques인용 수 10

한 줄 요약

이 논문은 다중 프레임 이미지 초해상도 복원(MISR)을 위한 엔드 투 엔드 빠른 확대 기법을 제안한다. 기존의 보간 기법을 대체하여 저해상도 공간에서 학습 가능한 필터를 적용하고, 이후 특징 셔플링을 통해 고해상도 출력을 복원한다. 이 방법은 계산 복잡도를 감소시키고 뿌연 아티팩트를 최소화하며, 양방향 총변동성 정규화와 결합할 경우 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Multi-frame image super-resolution (MISR) aims to fuse information in low-resolution (LR) image sequence to compose a high-resolution (HR) one, which is applied extensively in many areas recently. Different with single image super-resolution (SISR), sub-pixel transitions between multiple frames introduce additional information, attaching more significance to fusion operator to alleviate the ill-posedness of MISR. For reconstruction-based approaches, the inevitable projection of reconstruction errors from LR space to HR space is commonly tackled by an interpolation operator, however crude interpolation may not fit the natural image and generate annoying blurring artifacts, especially after fusion operator. In this paper, we propose an end-to-end fast upscaling technique to replace the interpolation operator, design upscaling filters in LR space for periodic sub-locations respectively and shuffle the filter results to derive the final reconstruction errors in HR space. The proposed fast upscaling technique not only reduce the computational complexity of the upscaling operation by utilizing shuffling operation to avoid complex operation in HR space, but also realize superior performance with fewer blurring artifacts. Extensive experimental results demonstrate the effectiveness and efficiency of the proposed technique, whilst, combining the proposed technique with bilateral total variation (BTV) regu-larization, the MISR approach outperforms state-of-the-art methods.

연구 동기 및 목표

• 다중 프레임 이미지 초해상도(MISR)의 불안정한 성질을 해결하기 위해 다수의 저해상도 프레임 간의 서브픽셀 전이를 개선한 융합을 수행한다.
• 기존 MISR 방법에서 간단한 보간 기법으로 인해 발생하는 재구성 오차와 뿌연 아티팩트를 줄인다.
• 고해상도 공간에서 복잡한 연산을 피하는 계산 효율성이 높은 확대 메커니즘을 설계한다.
• 제안된 확대 기법을 양방향 총변동성(BTV) 정규화와 통합하여 성능을 향상시킨다.

제안 방법

• 이 방법은 이미지의 각 주기적 서브위치에 대해 저해상도(LR) 공간에서 학습 가능한 확대 필터를 설계한다.
• 이 필터들을 저해상도(LR) 공간의 특징 맵에 적용하여 서로 다른 서브픽셀 오프셋에 해당하는 중간 특징 맵을 생성한다.
• 셔플링 연산을 통해 서브위치 간 특징 맵을 재배열하여 최종 고해상도(HR) 출력을 합성함으로써 고해상도 공간에서 직접 계산을 피한다.
• 전체 확대 과정은 미분 가능하며, MISR를 위한 엔드 투 엔드 학습 프레임워크에 통합된다.
• 재구성 품질과 에지 선명도를 향상시키기 위해 이 방법은 양방향 총변동성(BTV) 정규화와 결합된다.
• 예측된 고해상도 이미지와 진짜 고해상도 이미지 간의 재구성 오차를 최소화하는 손실 함수를 사용하여 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 저해상도 공간에서 학습 가능한 효율적인 확대 메커니즘이 다중 프레임 초해상도에서 기존 보간 기법을 능가할 수 있는가?
• RQ2 보간 기법을 필터-셔플 전략으로 대체할 경우 재구성된 고해상도 이미지의 뿌연 아티팩트가 감소하는가?
• RQ3 기존 MISR 방법과 비교해 더 낮은 계산 비용으로도 제안된 확대 기법이 뛰어난 성능을 달성할 수 있는가?
• RQ4 제안된 확대 기법을 BTV 정규화와 통합할 경우 재구성 품질과 에지 유지 능력에 어떤 영향을 미치는가?

주요 결과

• 제안된 빠른 확대 기법은 고해상도 공간에서의 계산을 피하고 저해상도 공간에서 연산을 수행하며 셔플링 연산을 사용함으로써 계산 복잡도를 크게 감소시킨다.
• 보간 기반 기준선 대비 더 낮은 뿌연 아티팩트와 뛰어난 시각적 품질을 달성한다.
• 양방향 총변동성(BTV) 정규화와 결합할 경우 정량적 지표와 시각적 정확도에서 최신 기술 수준의 방법들을 능가한다.
• 다양한 벤치마크 데이터셋에서 실시한 광범위한 실험을 통해 제안된 방법의 효과성과 효율성을 입증한다.