[논문 리뷰] AnimeSR: Learning Real-World Super-Resolution Models for Animation Videos

Yanze Wu, Xintao Wang외 2명|arXiv (Cornell University)|2022. 06. 14.

Advanced Image Processing Techniques인용 수 13

한 줄 요약

AnimeSR는 복잡한 실제 왜곡을 가진 애니메이션 영상에 적합한 새로운 실세계 영상 초해상도 방법을 제안한다. 이는 왜곡 시뮬레이션을 위한 신경 기반 기본 연산자 학습, 대규모 AVC 데이터셋 도입, 효율적인 다중 척도 순환 네트워크 활용을 통해 이루어지며, '빈 라인' 및 노이즈와 같은 아티팩트를 효과적으로 억제함으로써 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper studies the problem of real-world video super-resolution (VSR) for animation videos, and reveals three key improvements for practical animation VSR. First, recent real-world super-resolution approaches typically rely on degradation simulation using basic operators without any learning capability, such as blur, noise, and compression. In this work, we propose to learn such basic operators from real low-quality animation videos, and incorporate the learned ones into the degradation generation pipeline. Such neural-network-based basic operators could help to better capture the distribution of real degradations. Second, a large-scale high-quality animation video dataset, AVC, is built to facilitate comprehensive training and evaluations for animation VSR. Third, we further investigate an efficient multi-scale network structure. It takes advantage of the efficiency of unidirectional recurrent networks and the effectiveness of sliding-window-based methods. Thanks to the above delicate designs, our method, AnimeSR, is capable of restoring real-world low-quality animation videos effectively and efficiently, achieving superior performance to previous state-of-the-art methods. Codes and models are available at https://github.com/TencentARC/AnimeSR.

연구 동기 및 목표

• 실세계에서 복잡한 왜곡을 겪는 저품질 애니메이션 영상 처리에 한계가 있는 기존 실세계 초해상도 방법의 문제를 해결하기 위해.
• 애니메이션 영상의 실제 아티팩트 분포를 정확히 반영하는 더 정확한 왜곡 시뮬레이션 파이프라인을 개발하기 위해.
• 애니메이션 VSR 모델의 훈련 및 평가를 지원하기 위한 대규모 고품질 애니메이션 영상 데이터셋(AVC)을 구축하기 위해.
• 시간적 맥락을 효율적으로 활용하고 특징 표현을 향상시키기 위해 단방향 순환 블록과 슬라이딩 윈도우 기반 특징 융합을 통합한 효율적이고 효과적인 다중 척도 네트워크 아키텍처를 설계하기 위해.

제안 방법

• 고정된 연산자(예: 블러, 노이즈) 대신, 왜곡 모델링을 위해 작은 경량 신경망(2~3개의 컨볼루션 레이어)을 '학습 가능한 기본 연산자(LBOs)'로 제안하여 기존 방식을 대체한다.
• 실제 HR-LR 쌍이 없는 상황에서도 LBO의 지도 학습이 가능하도록, 저품질 영상에서 리사이징 및 사전 학습 모델을 활용해 가짜 HR 샘플을 생성하는 '입력 리스케일링 전략'을 도입한다.
• 훈련 및 평가를 위해 553개의 고품질 애니메이션 클립(55,300프레임)으로 구성된 AVC 데이터셋을 구축하며, 별도의 실세계 저품질 테스트 세트를 제공한다.
• 단방향 순환 블록과 슬라이딩 윈도우 기반 특징 융합을 통합한 다중 척도 네트워크 아키텍처를 설계하여 시간적 맥락을 효율적으로 활용하고 특징 표현을 향상시킨다.
• 훈련 중에 다수의 LBO를 무작위로 선택하는 '학습 가능한 기본 연산자 풀(LBO 풀)'을 도입하여 왜곡 모델링의 다양성과 강건성을 향상시킨다.
• 비주관적 평가 지표로 MANIQA를 사용하여 복원 품질을 평가함으로써, 분석 및 비교 연구에서 인간의 시각 인식과의 일치를 확보한다.

실험 결과

연구 질문

• RQ1 고정된 수작업 연산자에 비해 학습 가능한 신경 기반 기본 연산자(LBOs)가 실세계 애니메이션 영상 초해상도의 왜곡 시뮬레이션 정확도를 향상시키는가?
• RQ2 실제 HR-LR 쌍이 없는 상황에서 제안된 입력 리스케일링 전략은 어떻게 애니메이션 영상의 기본 연산자에 대한 효과적인 지도 학습을 가능하게 하는가?
• RQ3 대규모 고품질 애니메이션 영상 데이터셋(AVC)의 사용이 실세계 VSR에서 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ4 단방향 순환과 슬라이딩 윈도우 융합을 통합한 다중 척도 아키텍처는 애니메이션 VSR에서 성능과 효율성을 어떻게 향상시키는가?
• RQ5 여러 개의 학습된 기본 연산자를 풀에 통합하면 단일 LBO보다 더 나은 아티팩트 억제 및 시각적 품질을 달성하는가?

주요 결과

• 제안된 방법인 AnimeSR는 AVC 데이터셋에서 MANIQA 점수 0.3832를 기록하여 다음으로 우수한 방법(0.3763)을 앞서며 뛰어난 비주관적 품질을 입증한다.
• 세 개의 학습된 기본 연산자(LBO 풀)를 사용할 경우 단일 LBO(0.3763)보다 높은 MANIQA 점수(0.3832)를 기록하여 왜곡 모델링의 강건성과 다양성이 향상됨을 시사한다.
• 다중 척도 아키텍처는 아티팩트 감소와 선명한 라인 강조를 통해 시각적 품질을 향상시키며, 단일 척도 버전 대비 MANIQA 점수 0.3763을 기록한 반면, 단일 척도 버전은 0.3283이었다.
• 시각적 비교 결과, AnimeSR는 '빈 라인' 아티팩트와 노이즈를 효과적으로 억제하는 반면, Real-ESRGAN과 RealBasicVSR는 눈에 띄는 왜곡을 유발한다.
• 학습된 기본 연산자(LBOs)는 기존 연산자가 모델링하지 못하는 복잡한 혼합 왜곡(예: 색상 왜곡, 비균일 블러)을 효과적으로 포착함을 시각화된 합성 LQ 패치를 통해 확인할 수 있었다.
• LBO 풀 전략은 커튼과 같은 텍스처에서 그림자와 흐림 현상을 줄여 단일 LBO 접근 방식보다 더 깔끔하고 자연스러운 선 렌더링을 구현한다.