[논문 리뷰] Self-Supervised Deep Blind Video Super-Resolution

Haoran Bai, Jinshan Pan|arXiv (Cornell University)|2022. 01. 19.

Advanced Image Processing Techniques인용 수 5

한 줄 요약

이 논문은 지도 학습이 필요한 고해상도(HR) 영상 데이터가 없는 상황에서도 저해상도(LR) 입력에서 블러 커널과 고해상도(HR) 영상 프레임을 동시에 추정하는 자기지도 학습 기반의 블라인드 비디오 슈퍼레졸루션 방법을 제안한다. 영상 형성 모델을 활용해 보조 쌍화된 데이터를 생성하고 광학 흐름 모듈을 통합함으로써, 종래의 지도 학습 방법과 비교해도 우수한 성능을 달성하는 종단간 훈련이 가능해졌으며, 벤치마크와 실제 영상 모두에서 최신 기술 수준의 성능을 보였다.

ABSTRACT

Existing deep learning-based video super-resolution (SR) methods usually depend on the supervised learning approach, where the training data is usually generated by the blurring operation with known or predefined kernels (e.g., Bicubic kernel) followed by a decimation operation. However, this does not hold for real applications as the degradation process is complex and cannot be approximated by these idea cases well. Moreover, obtaining high-resolution (HR) videos and the corresponding low-resolution (LR) ones in real-world scenarios is difficult. To overcome these problems, we propose a self-supervised learning method to solve the blind video SR problem, which simultaneously estimates blur kernels and HR videos from the LR videos. As directly using LR videos as supervision usually leads to trivial solutions, we develop a simple and effective method to generate auxiliary paired data from original LR videos according to the image formation of video SR, so that the networks can be better constrained by the generated paired data for both blur kernel estimation and latent HR video restoration. In addition, we introduce an optical flow estimation module to exploit the information from adjacent frames for HR video restoration. Experiments show that our method performs favorably against state-of-the-art ones on benchmarks and real-world videos.

연구 동기 및 목표

• 사전 정의된 블러 커널을 가진 합성 데이터셋에 의존하는 지도 학습 기반 비디오 슈퍼레졸루션 방법의 한계를 해결하기 위해.
• 쌍화된 HR-LR 영상 데이터가 필요 없는 자기지도 학습 프레임워크를 개발하여 실재의 LR 영상 데이터만으로도 훈련 가능하도록 하기 위해.
• 단지 LR 입력 영상 프레임만을 이용해 블러 커널과 잠재적 HR 프레임을 동시에 추정함으로써 HR 영상 복원 정확도를 향상시키기 위해.
• 시간적 모델링을 위해 인접 프레임 간 운동 일관성을 활용하기 위해 광학 흐름 추정 모듈을 통합하여 특징 일관성을 향상시키기 위해.
• 지상 진짜 HR 데이터가 없는 실제 영상에서 본 방법의 효과성을 검증하기 위해.

제안 방법

• 본 방법은 단지 LR 입력 영상 프레임만을 supervision으로 사용하여 비디오 슈퍼레졸루션 문제를 자기지도 학습 문제로 재정의함으로써, 쌍화된 HR 데이터에 의존하지 않도록 한다.
• 영상 슈퍼레졸루션의 영상 형성 모델을 활용해 원본 LR 영상에서 보조 쌍화된 데이터를 생성함으로써, 네트워크가 실제적인 HR 영상 및 블러 커널 추정을 학습하도록 제약을 가한다.
• 학습 중 잠재적 단순 해를 방지하기 위해 추정된 블러 커널에 희박한 사전 조건을 적용한다.
• 이웃 프레임 간 운동 일관성을 활용해 HR 영상 복원 품질을 향상시키기 위해 광학 흐름 추정 모듈을 통합한다.
• 원본 LR 프레임과 추정된 HR 프레임 및 블러 커널에서 재구성된 LR 프레임 간 복원 손실을 사용해 네트워크를 종단간(end-to-end)으로 훈련한다.
• 비지상 진짜 지표(NIQE)를 활용한 온라인 미세조정 기능을 제공하여 실재의 열악한 영상 데이터에서 일반화 성능을 향상시키며, 지상 진짜 데이터 없이도 성능 향상을 달성한다.

실험 결과

연구 질문

• RQ1 쌍화된 HR-LR 영상 데이터가 전혀 없는 상황에서도 자기지도 학습 프레임워크가 블라인드 비디오 슈퍼레졸루션 문제를 효과적으로 해결할 수 있는가?
• RQ2 단지 LR 영상 프레임만으로 보조 쌍화된 데이터를 효과적으로 생성하여 HR 영상 및 블러 커널 추정을 제약할 수 있는가?
• RQ3 블러 커널과 HR 영상 프레임을 동시에 추정하는 방식이 사전에 알려진 또는 정의된 블러 커널을 가정하는 방법보다 더 나은 성능을 낼 수 있는가?
• RQ4 광학 흐름을 통합함으로써 실제 영상 환경에서 재구성된 HR 영상 프레임의 품질이 향상되는가?
• RQ5 지상 진짜 HR 영상이 제공되지 않는 상황에서도 제안된 방법이 지도 학습 방법과 유사한 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 SEDS 및 SPMCS와 같은 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, HR 감독 없이 SPMCS에서 PSNR 27.77, SSIM 0.8184를 기록하였다.
• 실제 영상에서 NIQE 비지상 진짜 지표를 사용해 평가한 결과, EDVR와 같은 지도 학습 기반 기준 모델보다 성능이 뛰어나며, 온라인 미세조정 후 NIQE 점수 12.483을 기록하였다.
• FLOPs 값이 754.01G로 EDVR(1480.57G)보다 현저히 낮아, 높은 성능에도 불구하고 높은 효율성을 보였다.
• 실제 열악한 영상 데이터를 활용한 온라인 미세조정은 시각적 비교 및 NIQE 점수 향상을 통해 인지적 품질 향상을 확인하였으며, 실제 환경에 대한 적응성과 탄력성을 입증하였다.
• HR 감독 데이터로 훈련된 경우, PSNR 27.99, SSIM 0.8346을 기록하여, 지도 학습 성능을 근사하거나 이를 충족시키는 성능을 보였다.
• 제거 실험 결과, 보조 데이터 생성과 희박한 커널 정규화의 조합이 단순 해를 효과적으로 방지하고 재구성 정확도를 향상시킨다는 것이 확인되었다.