[논문 리뷰] Unsupervised Flow-Aligned Sequence-to-Sequence Learning for Video Restoration

Jing Lin, Xiaowan Hu외 6명|arXiv (Cornell University)|2022. 05. 20.

Advanced Vision and Imaging인용 수 6

한 줄 요약

이 논문은 영상 복원을 위한 비지도 흐름 정렬 시퀀스-투-시퀀스 모델인 S2SVR을 제안한다. 이 모델은 영상 프레임 간 장거리 시간적 의존성을 모델링하기 위해 시퀀스-투-시퀀스 학습을 활용한다. 비지도 광학 흐름 추정기와 새로운 디스틸레이션 손실을 통합함으로써 저품질 및 고품질 프레임 간 정확한 운동 정렬을 달성하며, 영상 흐림 제거, 초해상도 복원, 압축 영상 향상 등 다양한 과제에서 최신 기술 수준의 성능을 확보한다. 특히 장시간 영상에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

How to properly model the inter-frame relation within the video sequence is an important but unsolved challenge for video restoration (VR). In this work, we propose an unsupervised flow-aligned sequence-to-sequence model (S2SVR) to address this problem. On the one hand, the sequence-to-sequence model, which has proven capable of sequence modeling in the field of natural language processing, is explored for the first time in VR. Optimized serialization modeling shows potential in capturing long-range dependencies among frames. On the other hand, we equip the sequence-to-sequence model with an unsupervised optical flow estimator to maximize its potential. The flow estimator is trained with our proposed unsupervised distillation loss, which can alleviate the data discrepancy and inaccurate degraded optical flow issues of previous flow-based methods. With reliable optical flow, we can establish accurate correspondence among multiple frames, narrowing the domain difference between 1D language and 2D misaligned frames and improving the potential of the sequence-to-sequence model. S2SVR shows superior performance in multiple VR tasks, including video deblurring, video super-resolution, and compressed video quality enhancement. Code and models are publicly available at https://github.com/linjing7/VR-Baseline

연구 동기 및 목표

• 저비용으로 영상 복원(VR)에서 장거리 간 프레임 간 의존성을 모델링하는 데 도전하는 것.
• 1차원 시퀀스 모델링(NLP)과 2차원으로 정렬되지 않은 영상 프레임 간 도메인 간 격차를 메우는 것.
• 손상된 영상에서 데이터 불일치와 정확하지 않은 광학 흐름 문제를 해결하기 위해 비지도 방식으로 흐름 추정기를 훈련시키는 것.
• 다양한 VR 과제(예: 흐림 제거, 초해상도 복원, 압축 영상 향상)에 적용 가능한 통합형, 과제 무관 프레임워크를 제공하는 것.

제안 방법

• 원래 자연어 처리(NLP)에 사용되던 시퀀스-투-시퀀스(seq2seq) 아키텍처를 영상 시퀀스의 시간적 의존성을 모델링하기 위해 활용한다.
• 고품질(HQ) 흐름을 가짜 레이블로 사용하는 새로운 디스틸레이션 손실을 통해 훈련되는 비지도 광학 흐름 추정기를 도입한다. 이는 저품질(LQ) 흐름 추정의 정확도를 향상시킨다.
• 추정된 광학 흐름을 활용해 프레임 간 특징을 공간적으로 정렬함으로써 2차원 영상과 1차원 시퀀스 모델링 간 도메인 불일치를 감소시킨다.
• 흐름 기반 특징 왜곡을 통한 운동 보정을 적용하여 운동 세부 정보를 유지하고 seq2seq 프레임워크 내 특징 표현 학습을 향상시킨다.
• 자기지도 디스틸레이션 손실을 활용하여 LQ 흐름이 HQ 흐름을 모방하도록 유도함으로써, 진정한 흐름 지도 없이도 정렬 정확도를 향상시킨다.
• 모델 전체를 실제 영상 복원 데이터셋에서 엔드 투 엔드로 훈련시켜 합성 흐름 데이터셋에 의존하지 않도록 한다.

실험 결과

연구 질문

• RQ1 시퀀스-투-시퀀스 학습이 영상 복원에 효과적으로 적용되어 장거리 시간적 의존성을 모델링할 수 있는가?
• RQ2 손상된 영상 입력에서 진정한 흐름 지도가 없을 경우 광학 흐름 추정은 어떻게 향상시킬 수 있는가?
• RQ3 고품질 흐름을 저품질 흐름으로 비지도 디스틸레이션함으로써 운동 정렬 및 복원 성능을 향상시킬 수 있는가?
• RQ4 흐름 정렬 시퀀스-투-시퀀스 모델링이 기존 방법보다 여러 영상 복원 과제에서, 특히 장시간 영상에서 뛰어난 성능을 보일 수 있는가?

주요 결과

• S2SVR는 영상 흐림 제거, 초해상도 복원, 압축 영상 향상 과제에서 최신 기술 수준의 성능을 달성하며, 이전 방법들보다 크게 앞서는 성능을 보였다.
• 832×480 해상도의 RaceHorses 데이터셋에서 S2SVR는 이전 최고 성능 방법보다 최소 0.304 dB의 ΔPSNR 향상을 달성했다.
• 비지도 흐름 추정기는 지도 학습 기반 베이스라인(RAFT 등)과 자기지도 미세조정보다 뛰어난 성능을 보였으며, REDS4 데이터셋에서 31.96 dB의 PSNR를 기록했다.
• 장시간 시퀀스에서 S2SVR는 뛰어난 성능을 보였다: 50프레임 길이에서 EDVR보다 0.57 dB, EDVR-M보다 0.52 dB 향상된 성능을 기록했다.
• 절단 실험 결과, 흐름 정렬을 통한 운동 보정이 특징 표현을 크게 향상시키며, 더 선명한 시각적 중요도 맵과 감소된 흐림을 보였다.
• 비지도 디스틸레이션 손실은 데이터 불일치를 효과적으로 줄이고 흐름 정확도를 향상시켜, LQ 흐름만 사용하는 경우보다 더 뛰어난 복원 품질을 제공했다.