[論文レビュー] AIM 2020 Challenge on Video Extreme Super-Resolution: Methods and Results

Dario Fuoli, Zhiwu Huang+24 more|arXiv (Cornell University)|Sep 14, 2020

Advanced Image Processing Techniques参考文献 53被引用数 5

ひとこと要約

本論文は、通常のVSRの限界をはるかに超える16倍のスケーリングを実現する動画エクストリームスーパーレゾリューションのAIM 2020チャレンジを提示する。高精細再構成（トラック1、PSNR/SSIMを用いて）と知覚的品質（トラック2、人間のユーザースタディを通じて）を比較し、L1およびVGG損失最適化により忠実度と視覚的品質の両立に成功したKirinUKが全体で優勝した。

ABSTRACT

This paper reviews the video extreme super-resolution challenge associated with the AIM 2020 workshop at ECCV 2020. Common scaling factors for learned video super-resolution (VSR) do not go beyond factor 4. Missing information can be restored well in this region, especially in HR videos, where the high-frequency content mostly consists of texture details. The task in this challenge is to upscale videos with an extreme factor of 16, which results in more serious degradations that also affect the structural integrity of the videos. A single pixel in the low-resolution (LR) domain corresponds to 256 pixels in the high-resolution (HR) domain. Due to this massive information loss, it is hard to accurately restore the missing information. Track 1 is set up to gauge the state-of-the-art for such a demanding task, where fidelity to the ground truth is measured by PSNR and SSIM. Perceptually higher quality can be achieved in trade-off for fidelity by generating plausible high-frequency content. Track 2 therefore aims at generating visually pleasing results, which are ranked according to human perception, evaluated by a user study. In contrast to single image super-resolution (SISR), VSR can benefit from additional information in the temporal domain. However, this also imposes an additional requirement, as the generated frames need to be consistent along time.

研究の動機と目的

• 16倍の極端なスケール因子で、1つの低解像度（LR）画素が256個の高解像度（HR）画素に対応する動画スーパーレゾリューションのベンチマークを確立すること。
• 高精細再構成と視覚的に魅力的な動画生成の両方における最先端手法の評価。
• 極端な動画スーパーレゾリューションにおける定量的指標（PSNR、SSIM）と人間の知覚の間のトレードオフを調査すること。
• 特にL1、VGG、GAN損失を含む異なる損失関数が、強固で視覚的に妥当な結果を達成するために果たす役割を評価すること。
• 極端なスケールの動画修復における時間的整合性とアーティファクト（特にフレイクイング）の低減を分析すること。

提案手法

• トラック1では、再構成されたHR動画の忠実度を、正解データと比較してPSNRおよびSSIMにより評価し、画素レベルの正確さに注目する。
• トラック2では、ユーザースタディを実施し、知覚的品質に基づいて結果を順位付けし、視覚的妥当性と時間的滑らかさに重点を置く。
• 多数のチームが、空間的・時間的相関を活用するため、3次元畳み込みネットワーク、可変畳み込み、マルチスケール特徴量集約を採用している。
• 動的アップサンプリングと光流を用いた特徴ワープにより、フレーム同士の整合性を高め、動きの整合性を向上させている。
• 損失関数には、L1、VGG知覚損失、GAN損失を組み合わせ、細部の保持と現実性の両立を図っている。
• 一部のチームでは、プログレッシブな精錬やアテンション機構を用いて、高周波成分の強化とフレイクイングの低減を図っている。

実験結果

リサーチクエスチョン

• RQ1 16倍のスケール因子を伴う極端な動画スーパーレゾリューションにおいて、L1、VGG、GANなどの異なる損失関数が性能に与える影響は何か？
• RQ2 時間的モデリングは、極端なスケールのVSRにおける再構成忠実度と視覚的整合性をどの程度向上させ得るか？
• RQ3 忠実度指標（PSNR/SSIM）が低い状況下でも、人間の観察者が評価する知覚的品質を信頼性を持って最適化できるか？
• RQ4 GAN損失に依存していないにもかかわらず、KirinUKチームが両方の指標とユーザースタディで優れた結果を達成した理由は何か？
• RQ5 フレイクイングアーティファクトは知覚的劣化にどの程度寄与しているのか、極端なスケールの動画修復においてはどのように低減できるか？

主な発見

• 優勝チームのKirinUKは、L1とVGG損失を組み合わせることで、GAN損失を単独で使用するチームを上回る包括的なパフォーマンスを達成した。
• GAN損失を用いても、BOE-IOT-AIBDの知覚的解決策はユーザースタディで最も高い順位に上がらなかった。これは、極端なスケールにおいて、強い画素ベースの監視が不可欠であることを示唆している。
• BOE-IOT-AIBDのテクスチャ中心の解決策は、時間的に滑らかなバージョンよりもユーザースタディで高い評価を受けており、フレイクイングよりもシャープなテクスチャが知覚的インパクトをもたらす可能性があることを示している。
• L1損失のみ（例：Team-WVU）またはL1 + SSIM（例：ZZX）を用いたチームも強く、極端なスケーリングにおいて画素ベースの監視が依然として重要であることを示している。
• フレイクイングアーティファクトは依然として大きな課題であり、どの手法でも完全に排除できていない。これは、今後の研究における重要な分野である。
• PSNRやSSIMといった定量的指標は、このチャレンジにおいて人間の知覚とよく相関しているが、知覚的品質の評価には、動画スーパーレゾリューション分野においてより強固なフレームワークの整備が依然として必要である。