[논문 리뷰] AIM 2020 Challenge on Video Extreme Super-Resolution: Methods and Results

Dario Fuoli, Zhiwu Huang외 24명|arXiv (Cornell University)|2020. 09. 14.

Advanced Image Processing Techniques참고 문헌 53인용 수 5

한 줄 요약

이 논문은 16배로 확대하는 데 있어 일반적인 VSR 한계를 훨씬 초월하는 영상 초해상도 복원 기법을 평가하는 AIM 2020 챌린지에 대해 기술한다. 고해상도 재구성의 정밀도(Track 1, PSNR/SSIM 사용)와 시각적 품질(Track 2, 인간 평가 연구를 통한 평가)을 비교하며, L1 및 VGG 손실 최적화를 통해 정밀도와 시각적 품질을 균형 있게 확보한 KirinUK가 총상으로 우승하였다.

ABSTRACT

This paper reviews the video extreme super-resolution challenge associated with the AIM 2020 workshop at ECCV 2020. Common scaling factors for learned video super-resolution (VSR) do not go beyond factor 4. Missing information can be restored well in this region, especially in HR videos, where the high-frequency content mostly consists of texture details. The task in this challenge is to upscale videos with an extreme factor of 16, which results in more serious degradations that also affect the structural integrity of the videos. A single pixel in the low-resolution (LR) domain corresponds to 256 pixels in the high-resolution (HR) domain. Due to this massive information loss, it is hard to accurately restore the missing information. Track 1 is set up to gauge the state-of-the-art for such a demanding task, where fidelity to the ground truth is measured by PSNR and SSIM. Perceptually higher quality can be achieved in trade-off for fidelity by generating plausible high-frequency content. Track 2 therefore aims at generating visually pleasing results, which are ranked according to human perception, evaluated by a user study. In contrast to single image super-resolution (SISR), VSR can benefit from additional information in the temporal domain. However, this also imposes an additional requirement, as the generated frames need to be consistent along time.

연구 동기 및 목표

• 각 저해상도 픽셀이 256개의 고해상도 픽셀에 대응하는 극한의 스케일 인자 16에서 영상 초해상도의 기준을 설정하기 위해.
• 고정밀 재구성 및 시각적으로 매력적인 영상 생성에 있어 최신 기법을 평가하기 위해.
• 극한의 영상 초해상도에서 정량적 지표(PSNR, SSIM)와 인간 인지 간의 상호 관계를 조사하기 위해.
• 특히 L1, VGG, GAN 손실 함수와 같은 다양한 손실 함수가 강력하고 현실적인 결과를 얻는 데 어떻게 기여하는지 평가하기 위해.
• 극한 스케일 영상 복원에서 시간적 일관성과 잡음 제거, 특히 번쩍임 현상 완화를 분석하기 위해.

제안 방법

• Track 1은 실제 고해상도 영상와의 비교를 통해 재구성된 고해상도 영상의 정밀도를 평가하기 위해 PSNR와 SSIM를 사용하며, 픽셀 수준의 정확도에 중점을 둔다.
• Track 2는 사용자 연구를 통해 결과의 시각적 품질 기반 순위를 매기며, 시각적 타당성과 시간적 부드러움을 강조한다.
• 여러 팀은 공간-시간 상관관계를 활용하기 위해 3D 컨볼루션 네트워크, 변형 가능 컨볼루션, 다중 해상도 특징 집합을 활용한다.
• 동적 확대 및 광학 흐름 기반 특징 왜곡을 통해 프레임 간 정렬 및 운동 일관성 향상을 도모한다.
• 손실 함수로는 L1, VGG 시각적 손실, GAN 손실을 조합하여 세부 사항 유지와 현실감을 균형 있게 확보한다.
• 일부 팀은 고주파 성분 향상과 번쩍임 감소를 위해 점진적 개선 또는 주의 메커니즘을 사용한다.

실험 결과

연구 질문

• RQ1 16배 스케일 인자에서 L1, VGG, GAN 손실 함수의 차이가 극한 영상 초해상도 성능에 어떤 영향을 미치는가?
• RQ2 시간 모델링이 극한 스케일 VSR에서 재구성 정밀도와 시각적 일관성에 얼마나 기여하는가?
• RQ3 정밀도 지표(PSNR/SSIM)가 낮을 경우 인간 관찰자가 평가하는 시각적 품질을 신뢰성 있게 최적화할 수 있는가?
• RQ4 GAN 손실에 의존하지 않는 한 팀인 KirinUK가 왜 정밀도 지표와 사용자 연구 양쪽에서 뛰어난 성능을 내는가?
• RQ5 번쩍임 잡음은 시각적 품질 저하에 어떤 역할을 하는가? 그리고 극한 스케일 영상 복원에서 이를 어떻게 완화할 수 있는가?

주요 결과

• 우승 팀인 KirinUK는 L1 및 VGG 손실을 조합함으로써 총합 성능을 최고로 끌어올렸으며, GAN 손실만을 사용한 팀보다 뛰어난 성능을 기록하였다.
• GAN 손실을 사용한 BOE-IOT-AIBD의 시각적 솔루션은 사용자 연구에서 최상위 순위에 올라가지 못했으며, 이는 극한 스케일에서 강력한 픽셀 수준의 지도 학습이 필수적임을 시사한다.
• BOE-IOT-AIBD의 텍스처 중심 솔루션은 시간적 부드러움을 확보한 버전보다 사용자 연구에서 더 높은 평가를 받았으며, 이는 날카운 텍스처가 번쩍임보다 더 큰 시각적 영향을 미친다는 것을 의미한다.
• L1 손실만 사용한 팀(예: Team-WVU)이나 L1 + SSIM 조합을 사용한 팀(예: ZZX)도 뛰어난 성능을 기록하여, 극한 확대에서 픽셀 기반 지도 학습이 여전히 핵심임을 입증한다.
• 번쩍임 잡음은 여전히 주요 과제로 남아 있으며, 어느 방법도 이를 완전히 제거하지 못했으며, 향후 연구의 핵심 분야로 지속될 필요가 있음을 시사한다.
• 이 챌린지에서는 정량적 지표인 PSNR와 SSIM가 인간 인지와 잘 관련되어 있지만, 여전히 영상 초해상도에서 시각적 품질 평가를 위한 더 강력한 평가 프레임워크가 필요하다.