[논문 리뷰] Detail-revealing Deep Video Super-resolution

Xin Tao, Hongyun Gao외 3명|arXiv (Cornell University)|2017. 04. 10.

Advanced Image Processing Techniques참고 문헌 24인용 수 35

한 줄 요약

이 논문은 영상 초해상도에서 정확한 움직임 정렬과 다중 프레임 간 효과적인 디테일 융합을 가능하게 하는 엔드 투 엔드, 확장 가능한 컨볼루션 신경망 프레임워크 내부에 서브픽셀 운동보정(SPMC) 레이어를 제안한다. 이 방법은 파rameter 조정 없이도 기준 데이터셋(Set5, Set14, SPMCS)에서 기존 방법들을 능가하는 최신 기술 수준의 정량적 성능과 시각적 품질을 달성한다.

ABSTRACT

Previous CNN-based video super-resolution approaches need to align multiple frames to the reference. In this paper, we show that proper frame alignment and motion compensation is crucial for achieving high quality results. We accordingly propose a `sub-pixel motion compensation' (SPMC) layer in a CNN framework. Analysis and experiments show the suitability of this layer in video SR. The final end-to-end, scalable CNN framework effectively incorporates the SPMC layer and fuses multiple frames to reveal image details. Our implementation can generate visually and quantitatively high-quality results, superior to current state-of-the-arts, without the need of parameter tuning.

연구 동기 및 목표

• 영상 초해상도에서 정확한 프레임 간 운동 정렬을 해결함으로써 미세한 이미지 디테일을 유지하고 복원하는 데 초점을 맞춘다.
• 재학습 없이도 임의의 스케일 팩터와 가변적인 입력 프레임 수를 지원할 수 있는 확장 가능한 딥 러닝 프레임워크를 개발한다.
• 움직임 정렬된 특징들이 효과적으로 융합되어 가짜 아티팩트가 아닌 진짜 고해상도 콘텐츠를 복원할 수 있도록 디테일 융합을 향상시킨다.
• 기존 방법에서 흔히 발생하는 사례별 파rameter 조정이 필요 없도록 하여 다양한 입력에 대해 일관된 성능을 달성한다.
• 다중 프레임 정렬 및 융합이 단일 이미지 초해상도보다 뛰어난 결과를 낼 수 있음을 검증하며, 특히 질감 및 구조적 디테일에서 두드러진 성능 향상을 입증한다.

제안 방법

• 서브픽셀 정밀도로 후방 와핑을 수행하는 미분 가능한 서브픽셀 운동보정(SPMC) 레이어를 제안하여 기준 프레임에 대해 저해상도 프레임을 정확하게 정렬한다.
• SPMC 레이어를 컨볼루션 리커런트 신경망(ConvLSTM) 기반의 엔드 투 엔드 CNN 프레임워크에 통합하여 정렬된 다중 프레임의 특징을 융합해 고해상도 출력을 생성한다.
• 학습 안정성 향상과 프레임 간 특징 전파 개선을 위해 스킵 연결을 활용한 잔차 학습 아키텍처를 사용한다.
• 예측된 유속 필드 기반의 미분 가능한 와핑 연산을 활용하여 운동보정 단계를 통해 역전파가 가능하도록 한다.
• 완전히 확장 가능한 네트워크 아키텍처를 설계함: SPMC 레이어는 학습 가능한 파rameter가 없으며 임의의 스케일 팩터를 지원하고, ConvLSTM는 추론 시 입력 프레임 수를 가변적으로 처리할 수 있다.
• 네트워크를 엔드 투 엔드로 최적화하기 위해 픽셀 단위 재구성 오차 기반의 광학적 손실을 적용한다.

실험 결과

연구 질문

• RQ1 표준 프레임 정렬 방법에 비해 서브픽셀 운동보정이 영상 초해상도 성능을 크게 향상시킬 수 있는가?
• RQ2 미분 가능한 SPMC 레이어를 활용한 엔드 투 엔드 학습이 별도의 운동 추정 및 재구성 파이프라인에 비해 더 나은 디테일 복원을 이끌 수 있는가?
• RQ3 재학습 없이도 다양한 스케일 팩터와 입력 프레임 수에서 높은 성능을 유지할 수 있는가?
• RQ4 다중 프레임 특징이 환상적인 질감이 아닌 진짜 고주파 디테일을 얼마나 효과적으로 복원하는가?
• RQ5 PSNR, SSIM 및 시각적 정밀도 측면에서 제안된 방법이 최신 기술 수준의 단일 이미지 및 영상 초해상도 모델보다 어떻게 비교되는가?

주요 결과

• SPMCS 데이터셋에서 제안된 방법은 ×4 스케일에서 PSNR 31.92 dB, SSIM 0.90을 기록하여 이전 최고 성능 방법들을 모두 능가한다.
• 3개의 입력 프레임(F3)을 사용할 경우, SPMCS ×4에서 PSNR 31.92 dB, SSIM 0.90을 달성하며, VDSR(28.80 dB PSNR) 및 SRCNN(28.29 dB PSNR)와 같은 단일 이미지 초해상도 방법보다 뚜렷한 성능 향상을 보였다.
• Vid4 벤치마크에서 ×3 스케일에서 PSNR 27.49 dB, SSIM 0.84를 기록하여 VESPCN(27.25 dB)과 VSRNet(25.31 dB)를 모두 앞섰다.
• F7-×4 모델은 180×120 크기의 7개 프레임을 0.26초 내에 처리하여, Liu 등(2시간) 및 Ma 등(10분)과 같은 이전 방법들보다 뚜렷한 속도 향상을 보였다.
• 시각적 결과는 단일 이미지 초해상도 및 이중선형 보간법에서 손실되는 텍스트 및 건물 질감과 같은 미세한 디테일을 충실하게 복원함을 보여준다.
• 제거 실험 결과 SPMC 레이어와 디테일 융합 메커니즘이 고품질 결과를 위해 필수적임을 확인하였으며, 이 중 하나를 제거할 경우 성능이 뚜렷이 저하됨을 확인했다.