[論文レビュー] AnimeSR: Learning Real-World Super-Resolution Models for Animation Videos

Yanze Wu, Xintao Wang+2 more|arXiv (Cornell University)|Jun 14, 2022

Advanced Image Processing Techniques被引用数 13

ひとこと要約

AnimeSRは、劣化シミュレーションのためのニューラル基本演算子を学習し、大規模なAVCデータセットを導入し、効率的なマルチスケール再帰型ネットワークを採用することで、アニメーション動画向けの新規なリアルワールド動画スーパーレゾリューション手法を提案する。実際の劣化をよりよくモデル化し、『へこみライン』やノイズなどのアーティファクトを抑制することで、最先端の性能を達成する。

ABSTRACT

This paper studies the problem of real-world video super-resolution (VSR) for animation videos, and reveals three key improvements for practical animation VSR. First, recent real-world super-resolution approaches typically rely on degradation simulation using basic operators without any learning capability, such as blur, noise, and compression. In this work, we propose to learn such basic operators from real low-quality animation videos, and incorporate the learned ones into the degradation generation pipeline. Such neural-network-based basic operators could help to better capture the distribution of real degradations. Second, a large-scale high-quality animation video dataset, AVC, is built to facilitate comprehensive training and evaluations for animation VSR. Third, we further investigate an efficient multi-scale network structure. It takes advantage of the efficiency of unidirectional recurrent networks and the effectiveness of sliding-window-based methods. Thanks to the above delicate designs, our method, AnimeSR, is capable of restoring real-world low-quality animation videos effectively and efficiently, achieving superior performance to previous state-of-the-art methods. Codes and models are available at https://github.com/TencentARC/AnimeSR.

研究の動機と目的

• 複雑なリアルワールドの劣化を示す低品質なアニメーション動画を処理する際、従来のリアルワールドスーパーレゾリューション手法の限界を克服すること。
• アニメーション動画におけるリアルなアーティファクトの真正の分布を捉える、より正確な劣化シミュレーションパイプラインの開発。
• アニメーションVSRモデルのトレーニングと評価を支援する、大規模かつ高品質なアニメーション動画データセット（AVC）の構築。
• 時間的文脈を効果的に活用し、特徴表現を強化するため、一方向再帰ブロックとスライディングウィンドウベースの特徴統合を統合した、効率的かつ効果的なマルチスケールネットワークアーキテクチャの設計。

提案手法

• 固定された演算子（ぼかしやノイズなど）の代わりに、小さな軽量なニューラルネットワーク（2〜3層の畳み込み層）を用いた「学習可能な基本演算子」（LBOs）を提案し、劣化モデリングに用いる。
• 実際のHR-LRペアが存在しない状況下でも、LBOの教師あり学習を可能にするために、入力リスケーリング戦略を導入。低品質な動画からリサイズと事前学習モデルを用いて疑似HRサンプルを生成する。
• 553本の高品質なアニメーションクリップ（55,300フレーム）から構成されるAVCデータセットを構築。トレーニングと評価に使用し、別個のリアルワールド低品質テストセットを用意。
• 一方向再帰ブロックとスライディングウィンドウベースの特徴統合を統合したマルチスケールネットワーク構造を設計。時間的文脈を効率的に活用し、特徴表現を向上させる。
• トレーニング中に複数のLBOをランダムに選択することで、劣化モデリングにおける多様性とロバストネスを向上させる、学習可能な基本演算子プール（LBOプール）を採用。
• アブレーションおよび比較研究において、人間の知覚と整合性を持つように、復元品質の評価にMANIQAを活用。

実験結果

リサーチクエスチョン

• RQ1 固定された手作業による演算子と比較して、学習可能なニューラル基本演算子は、リアルワールドアニメーション動画スーパーレゾリューションにおける劣化シミュレーション精度を向上させることができるか？
• RQ2 実際のHR-LRペアが存在しない状況下で、提案された入力リスケーリング戦略は、アニメーション動画の基本演算子の有効な教師あり学習を可能にするか？
• RQ3 大規模かつ高品質なアニメーション動画データセット（AVC）を用いることで、リアルワールドVSRにおけるモデルの一般化性能と性能にどのような影響を与えるか？
• RQ4 一方向再帰とスライディングウィンドウ統合を組み合わせたマルチスケールアーキテクチャは、アニメーションVSRにおける性能と効率性をどのように向上させるか？
• RQ5 複数の学習可能な基本演算子をプール形式で組み合わせることで、単一のLBOを使用する場合と比較して、アーティファクトの抑制と視覚的品質が向上するか？

主な発見

• 提案手法AnimeSRは、AVCデータセットにおいてMANIQAスコア0.3832を達成し、次に優れた手法（0.3763）を上回り、優れた知覚的品質を示した。
• 3つの学習可能な基本演算子（LBOプール）を用いた場合（MANIQAスコア0.3832）は、単一のLBOを用いた場合（0.3763）よりも高いスコアを記録し、劣化モデリングにおけるロバストネスと多様性の向上を示した。
• マルチスケールアーキテクチャは、アーティファクトを低減させ、線を鋭くすることで視覚的品質を向上させ、単一スケールバージョン（MANIQAスコア0.3283）と比較して0.3763のスコアを達成した。
• 視覚的比較では、AnimeSRが『へこみライン』アーティファクトやノイズを効果的に抑制している一方、Real-ESRGANやRealBasicVSRは顕著な歪みを生じさせた。
• 学習された基本演算子（LBO）は、古典的演算子がモデル化できない複雑で混合された劣化（色のジャッターや非一様ぼかし）を捉えており、合成されたLQパッチの可視化によって確認された。
• LBOプール戦略により、カーテンのようなテクスチャのゴースト化やぼやけが軽減され、単一LBOアプローチよりもクリアで自然な線画レンダリングが実現した。