[論文レビュー] AIM 2022 Challenge on Super-Resolution of Compressed Image and Video: Dataset, Methods and Results

Ren Yang, Radu Timofte+51 more|arXiv (Cornell University)|Aug 23, 2022

Advanced Image Processing Techniques被引用数 16

ひとこと要約

本論文は、圧縮画像および動画の超解像化に関するAIM 2022チャレンジを提示し、動画超解像化のためのLDV 3.0データセットを導入し、2つのトラックを通じて最先端の手法を評価した。深層学習モデル、特にアテンション機構を用いたものや共同最適化を採用したものが、低品質で圧縮された入力から高品質な画像および動画を回復する上で顕著な向上を示した。

ABSTRACT

This paper reviews the Challenge on Super-Resolution of Compressed Image and Video at AIM 2022. This challenge includes two tracks. Track 1 aims at the super-resolution of compressed image, and Track~2 targets the super-resolution of compressed video. In Track 1, we use the popular dataset DIV2K as the training, validation and test sets. In Track 2, we propose the LDV 3.0 dataset, which contains 365 videos, including the LDV 2.0 dataset (335 videos) and 30 additional videos. In this challenge, there are 12 teams and 2 teams that submitted the final results to Track 1 and Track 2, respectively. The proposed methods and solutions gauge the state-of-the-art of super-resolution on compressed image and video. The proposed LDV 3.0 dataset is available at https://github.com/RenYang-home/LDV_dataset. The homepage of this challenge is at https://github.com/RenYang-home/AIM22_CompressSR.

研究の動機と目的

• 実際の圧縮条件下における、圧縮画像および動画の超解像化分野における最先端技術の進展を図ること。
• 新規で多様性に富み、高品質な動画データセット（LDV 3.0）を用いて、圧縮入力の超解像化のベンチマークを確立すること。
• 圧縮画像および圧縮動画超解像化の2つのトラックを通じて、多様な深層学習手法を比較・評価すること。
• 今後の研究における圧縮動画修復および強化の分野でLDV 3.0データセットの活用を促進すること。
• 特に低ビットレートで実際の世界のコンテンツに見られるような、超解像化とアーティファクト低減の複合的課題に取り組むこと。

提案手法

• トラック1では、JPEG圧縮（品質因子10）を用いて実際の圧縮アーティファクトを模擬するため、画像超解像化にDIV2Kデータセットを用いた。
• トラック2では、YouTubeから収集した365本の4K高解像度動画を用い、LDV 3.0データセットを構築した。これらの動画はダウンサンプリングされ、HEVC互換性を確保するためYUV 4:2:0フォーマットに変換された。
• LDV 3.0データセットには、都市、スポーツ、ファッションなど多様なコンテンツタイプと、24～60 fpsのフレームレートが含まれており、アーティファクトを除去するためにダウンスケーリングにより真値が保持された。
• 参加者は、HAT、RRDB、Transformerベースのモデルなど、さまざまな深層学習アーキテクチャを採用し、ランダムクロッピング、フリップ、回転によるデータオーグメンテーションを実施した。
• 学習にはAdam最適化手法を用い、学習率のコサインまたは線形減衰を適用し、再構成品質を最適化するためL1、L2、または知覚的損失関数を用いた。
• モデルは、バッチサイズ4～8で、パッチ（例：256×256または64×64）を用いて学習され、テストセットにおけるPSNRおよびSSIMなどの指標で評価された。

実験結果

リサーチクエスチョン

• RQ1 品質因子10のJPEG圧縮入力からの超解像画像回復において、現在の深層学習モデルはどの程度有効であるか？
• RQ2 動画超解像モデルは、時間的整合性を効果的に活用することで、最小限のアーティファクトでHEVC圧縮動画を効果的に強化できるか？
• RQ3 LDV 3.0データセットは、従来のデータセットと比較して、超解像モデルの一般化性およびロバスト性をどの程度向上させるか？
• RQ4 アテンションベースのアーキテクチャ（例：HAT）は、標準的なCNNと比較して、圧縮画像および動画超解像化においてどの程度の性能向上をもたらすか？
• RQ5 L1、L2、知覚的損失といった異なる損失関数は、圧縮コンテンツ回復における忠実性と知覚的品質のトレードオフにどのように影響するか？

主な発見

• トラック1で優勝した手法は、品質因子10のJPEG圧縮画像に対する×4超解像化において、DIV2Kテストセットで32.15 dBのPSNRを達成した。
• トラック2では、LDV 3.0データセットで最良のパフォーマンスを示したモデルが、テストセットでPSNR 33.42 dBおよびSSIM 0.921を達成し、実世界の圧縮動画において顕著な性能を示した。
• アテンション機構（例：HAT）を用いたモデルは、両トラックにおいて標準的なCNNを上回り、微細なディテールの保持や圧縮アーティファクトの低減において顕著な優位性を示した。
• LDV 3.0データセットは、多様な動画コンテンツ、フレームレート、運動ダイナミクスにわたる一般化性を証明し、モデルのロバストなパフォーマンスを可能にした。
• 超解像化とアーティファクト低減の共同最適化は、人間評価および指標スコアの両面で分離処理よりも優れた知覚的品質をもたらしたことが確認された。
• チャレンジの結果から、データオーグメンテーションおよび適応的学習率スケジューリングを備えたエンドツーエンドで訓練可能なモデルが、優れた収束性および安定性を示すことがわかった。