[논문 리뷰] On the Generalization of BasicVSR++ to Video Deblurring and Denoising

Kelvin C. K. Chan, Shangchen Zhou외 2명|arXiv (Cornell University)|2022. 04. 11.

Advanced Image Processing Techniques인용 수 12

한 줄 요약

이 논문은 입력-출력 해상도가 동일한 작업을 위해 BasicVSR++의 장기적 특징 전파와 유동 가속 가변성 정렬 기법을 영상 블러링 제거 및 노이즈 제거 작업에 적응시켜 기본 VSR++을 영상 블러링 제거 및 노이즈 제거로 일반화한다. 입력을 다운샘플링하기 위해 스트라이드 컨볼루션을 적용하고, 광학 흐름 계산 해상도를 낮춤으로써 프레임워크는 트랜스포머 기반 방법 대비 최대 79%의 파라미터 감소와 44배의 속도 향상을 달성하며 최신 기술 성능을 확보한다. 이는 반복적 영상 복원 아키텍처의 광범위한 적용 가능성을 보여준다.

ABSTRACT

The exploitation of long-term information has been a long-standing problem in video restoration. The recent BasicVSR and BasicVSR++ have shown remarkable performance in video super-resolution through long-term propagation and effective alignment. Their success has led to a question of whether they can be transferred to different video restoration tasks. In this work, we extend BasicVSR++ to a generic framework for video restoration tasks. In tasks where inputs and outputs possess identical spatial size, the input resolution is reduced by strided convolutions to maintain efficiency. With only minimal changes from BasicVSR++, the proposed framework achieves compelling performance with great efficiency in various video restoration tasks including video deblurring and denoising. Notably, BasicVSR++ achieves comparable performance to Transformer-based approaches with up to 79% of parameter reduction and 44x speedup. The promising results demonstrate the importance of propagation and alignment in video restoration tasks beyond just video super-resolution. Code and models are available at https://github.com/ckkelvinchan/BasicVSR_PlusPlus.

연구 동기 및 목표

• BasicVSR++가 영상 초해상도에서 성공한 이유가 다른 영상 복원 작업으로 일반화되는지 조사하는 것.
• 다양한 영상 복원 작업(예: 블러링 제거 및 노이즈 제거)을 위한 효율적이고 일반적인 프레임워크를 BasicVSR++ 기반으로 개발하는 것.
• 입력 해상도를 낮춤으로써 계산 비용을 줄이고도 높은 성능을 유지하는 것.
• 반복적이고 전파 기반 아키텍처가 파라미터 수가 훨씬 적고 추론 속도가 훨씬 빠른 트랜스포머 기반 모델과 정확도에서 비슷하거나 뛰어나다는 것을 입증하는 것.

제안 방법

• 입력 프레임을 다운샘플링하기 위해 스트라이드 컨볼루션을 도입하여 입력-출력 해상도가 동일한 작업에서 공간 차원과 계산 부담을 줄인다.
• 광학 흐름 계산 해상도를 낮춤으로써 추가로 계산 비용을 절감하면서도 정렬 정확도를 유지한다.
• BasicVSR++의 核 心 구성 요소를 유지한다: 장기적 특징 전달을 위한 2차 그리드 전파와 강건한 특징 정렬을 위한 유동 가속 가변성 컨볼루션.
• 시간에 따라 반복적으로 처리함으로써 프레임 간 공유된 특징 공간을 활용하여 장기적인 시간적 의존성을 탐색한다.
• ℓ₂ 손실보다 더 나은 이상치 처리와 훈련 안정성을 확보하기 위해 샤르보니에 손실을 사용한다.
• 학습률 웜업과余弦 감쇠를 적용한 학습 스케줄을 적응시키며, 초기에 광학 흐름 네트워크 가중치를 고정하여 훈련 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 BasicVSR++ 아키텍처가 영상 초해상도를 넘어서 다른 영상 복원 작업으로 일반화될 수 있는가?
• RQ2 입력 해상도 감소가 영상 블러링 제거 및 노이즈 제거 성능와 효율성에 어떤 영향을 미치는가?
• RQ3 반복적이고 컨볼루션 기반 프레임워크가 파라미터 수가 훨씬 적고 추론 속도가 훨씬 빠른 트랜스포머 기반 모델과 비슷한 성능을 달성할 수 있는가?
• RQ4 입력 다운샘플링 요소를 변화시킬 때 모델 효율성과 복원 품질 사이의 상충 관계는 어떠한가?

주요 결과

• GoPro 데이터셋에서 BasicVSR++는 영상 블러링 제거에서 최신 기술 성능을 달성하여 PSNR 34.61 dB, SSIM 0.9566를 기록하며 이전 방법들(EDVR, DBLRNet 포함)을 모두 능가한다.
• DVD 데이터셋에서 BasicVSR++는 PSNR 37.59 dB, SSIM 0.9566를 기록하여 운동 블러링 제거에서 뛰어난 성능을 보였다.
• Set8에서 영상 노이즈 제거 작업을 수행한 BasicVSR++는 ↓2 다운샘플링으로 34.17 dB PSNR, 0.9238 SSIM 성능을 달성했으며, PaCNet보다 PSNR 1.49 dB, SSIM 0.0292 높고 147배 빠른 속도를 기록했다.
• ↓4 다운샘플링을 적용한 BasicVSR++는 VRT 및 VSRT와 같은 트랜스포머 기반 모델과 유사한 성능을 달성했으며, 1280×720 해상도에서 파라미터 수 980만 개, 추론 시간 131ms를 기록했고, VRT의 3560만 개 파라미터와 243ms 대비 뛰어난 효율성을 확보했다.
• 트랜스포머 기반 방법 대비 최대 79%의 파라미터 감소와 44배의 속도 향상을 달성하면서도 경쟁 가능한 성능을 유지했다.
• 정성적 결과 분석에서 BasicVSR++ ↓4는 다른 방법들이 복원하지 못하는 세부 정보(예: '6600'과 같은 텍스트)를 회복함으로써 뛰어난 윤곽선 및 질감 복원 능력을 보였다.