[논문 리뷰] Perceptual Video Super Resolution with Enhanced Temporal Consistency

Eduardo Pérez-Pellitero, Mehdi S. M. Sajjadi외 2명|arXiv (Cornell University)|2018. 07. 20.

Advanced Image Processing Techniques참고 문헌 37인용 수 4

한 줄 요약

이 논문은 시각적 품질과 감소된 깜빡임을 달성하기 위해 반복적 특징 전파와 다중 프레임 워핑을 활용하여, 비디오 분류자와 새로운 시간적 일관성 손실을 갖춘 순환 생성 적대적 네트워크를 제안한다. 이로 인해 시각적 비디오 초해상도에서 최고의 성능을 달성한다.

ABSTRACT

With the advent of perceptual loss functions, new possibilities in super-resolution have emerged, and we currently have models that successfully generate near-photorealistic high-resolution images from their low-resolution observations. Up to now, however, such approaches have been exclusively limited to single image super-resolution. The application of perceptual loss functions on video processing still entails several challenges, mostly related to the lack of temporal consistency of the generated images, i.e., flickering artifacts. In this work, we present a novel adversarial recurrent network for video upscaling that is able to produce realistic textures in a temporally consistent way. The proposed architecture naturally leverages information from previous frames due to its recurrent architecture, i.e. the input to the generator is composed of the low-resolution image and, additionally, the warped output of the network at the previous step. Together with a video discriminator, we also propose additional loss functions to further reinforce temporal consistency in the generated sequences. The experimental validation of our algorithm shows the effectiveness of our approach which obtains images with high perceptual quality and improved temporal consistency.

연구 동기 및 목표

• 시각적 손실 함수로 인해 깜빡임 아티팩트가 발생하는 시각적 비디오 초해상도에서 시간적 일관성의 부족을 해결한다.
• 단일 이미지 초해상도에서의 성공적인 시각적 손실 함수를 아직 탐색되지 않은 비디오 초해상도로 확장한다.
• 일관된 고주파 세부 정보를 유지하면서도 사진처럼 현실적인 질감을 유지함으로써 비디오 품질을 향상시킨다.
• 이전 초해상도 프레임을 忽시하는 슬라이딩 윈도우 접근 방식의 한계를 극복하여 시간적 일관성을 향상시킨다.
• 전용 손실 함수와 반복 아키텍처를 통해 시간적 공명을 명시적으로 강제하는 학습 프레임워크를 개발한다.

제안 방법

• 현재 저해상도 프레임과 왜곡된 이전 고해상도 출력을 입력으로 사용하는 반복적 생성자 사용으로 이전 결과의 기억을 가능하게 한다.
• 연속된 프레임 간의 시공간 일관성을 평가하여 현실적인 운동과 일관성을 유도하는 비디오 분류자 도입.
• 처리 전 현재 프레임과 이웃 프레임을 정렬하기 위해 다중 이미지 왜곡 적용으로 특징 정렬을 향상시키고 운동 아티팩트를 감소시킨다.
• 두 가지 새로운 손실 항목 설계: 정적 손실($\mathcal{L}_{T_d}$)은 정지 영역의 깜빡임을 최소화하고, 분산 거리 손실($\mathcal{L}_{T_s}$)은 시간에 따른 픽셀 통계 변화를 줄인다.
• 시각적 손실($\mathcal{L}_c$), 적대적 손실($\mathcal{L}_A$), 그리고 두 가지 시간적 일관성 손실을 조합한 복합 손실을 최적화하여 모델 학습.
• 시각적 손실 계산을 위해 사전 학습된 특징 추출기(예: VGG 또는 AlexNet) 사용하고, 정렬을 향상시키기 위해 추가 선형 校정 레이어 적용.

실험 결과

연구 질문

• RQ1 단일 이미지 초해상도에서 사용된 시각적 손실 함수가 비디오 초해상도로 확장될 때 깜빡임을 유발하지 않고 성공적으로 적용될 수 있는가?
• RQ2 이전 프레임의 반복 기억을 통합함으로써 비디오 초해상도에서 시간적 일관성이 어떻게 향상되는가?
• RQ3 전용 시간적 일관성 손실($\mathcal{L}_{T_d}$ 및 $\mathcal{L}_{T_s}$)이 생성된 비디오 시퀀스의 깜빡임을 줄이고 시각적 품질을 향상시키는 데 얼마나 기여하는가?
• RQ4 기존의 GAN 기반 및 MSE 최적화 VSR 모델과 비교할 때, 제안된 방법은 시각적 품질과 시간적 안정성 측면에서 어떻게 성능을 내는가?
• RQ5 비디오 분류자와 반복 아키텍처의 조합이 장기간 시간적 일관성을 유지하는 데 있어 비반복적, 슬라이딩 윈도우 접근 방식을 능가하는가?

주요 결과

• 제안된 방법은 vid4 및 seq12 데이터셋에서 최고의 LPIPS 및 NIQE 점수를 기록하여 뛰어난 시각적 품질과 감소된 왜곡을 입증한다.
• 시각적 방법 중에서 $\mathcal{L}_c$로 학습된 모델이 vid4 및 seq12 양측에서 가장 낮은 LPIPS 점수를 기록하여 SRGAN 및 Enhancenet을 능가한다.
• 직접 시간적 손실 최적화 없이도 반복 아키텍처와 비디오 분류자를 결합한 것이 비반복 모델(예: SRGAN)보다 시간적 일관성을 크게 향상시킨다.
• 제거 실험 결과 $\mathcal{L}_{T_d}$가 $\mathcal{L}_{T_s}$보다 시간적 일관성에 더 큰 영향을 미치며, $\mathcal{L}_A$와 함께 둘 다 결합할 경우 최고의 전반적 성능을 기록한다.
• $\mathcal{L}_c$ 손실을 사용한 모델이 전반적인 메트릭(와핑 오차 PSNR 및 tLPIPS 포함)에서 가장 높은 시간적 일관성을 확보하여 전체 손실 공식의 효과성을 입증한다.
• 정성적 분석 결과, SRGAN 및 Enhancenet은 섬세한 질감을 생성하지만 종종 과도하게 선명하게 만들고 현실적이지 않은 패턴을 유발하는 반면, 제안된 방법은 이러한 문제를 효과적으로 완화한다.