[論文レビュー] Swin2SR: SwinV2 Transformer for Compressed Image Super-Resolution and Restoration

Marcos V. Conde, Ui‐Jin Choi+2 more|arXiv (Cornell University)|Sep 22, 2022

Advanced Image Processing Techniques被引用数 10

ひとこと要約

Swin2SRは、圧縮画像超解像および修復を目的としたSwinV2トランスフォーマーベースのモデルを提案する。SwinIRに比べて訓練の安定性、収束性、性能が向上し、DIV2KおよびFlickr2Kデータセットのみを用いて、高速な訓練と競争力のあるPSNRを達成した。AIM 2022チャレンジにおける圧縮画像超解像タスクで上位5位の成績を収めた。

ABSTRACT

Compression plays an important role on the efficient transmission and storage of images and videos through band-limited systems such as streaming services, virtual reality or videogames. However, compression unavoidably leads to artifacts and the loss of the original information, which may severely degrade the visual quality. For these reasons, quality enhancement of compressed images has become a popular research topic. While most state-of-the-art image restoration methods are based on convolutional neural networks, other transformers-based methods such as SwinIR, show impressive performance on these tasks. In this paper, we explore the novel Swin Transformer V2, to improve SwinIR for image super-resolution, and in particular, the compressed input scenario. Using this method we can tackle the major issues in training transformer vision models, such as training instability, resolution gaps between pre-training and fine-tuning, and hunger on data. We conduct experiments on three representative tasks: JPEG compression artifacts removal, image super-resolution (classical and lightweight), and compressed image super-resolution. Experimental results demonstrate that our method, Swin2SR, can improve the training convergence and performance of SwinIR, and is a top-5 solution at the "AIM 2022 Challenge on Super-Resolution of Compressed Image and Video".

研究の動機と目的

• トランスフォーマーベースの画像修復モデルにおける訓練の不安定性と解像度ギャップを解消する。
• SwinV2トランスフォーマーアーキテクチャを活用することで、SwinIRを上回る性能と効率性を実現する。
• JPEGアーティファクトや低品質な入力に起因する圧縮画像超解像の課題に取り組む。
• JPEGアーティファクト除去、古典的および軽量な超解像、圧縮画像修復の複数のタスクで最先端の性能を達成する。
• 最小限のデータと高速な推論で、実世界のベンチマーク（例：AIM 2022チャレンジ）において競争力のある結果を示す。

提案手法

• Swinトランスフォーマーに比べて訓練の安定性と解像度一般化性が向上した、SwinV2トランスフォーマーアーキテクチャを採用する。
• 長距離依存性モデリングを向上させるために、改善された正規化とゲーティング機構を備えたシフトドウインドウ自己注意を活用する。
• 収束を加速させ、視覚的品質を向上させるために、補助損失関数（AuxLoss）と高周波数損失（HFLoss）を導入する。
• 推論のオーバーヘッドをほとんど増加させずに、PSNRをわずかに向上させるために、自己アンサンブル技術（入力の反転・回転）を適用する。
• 外部の大規模データセットに依存せずに、DIV2KおよびFlickr2Kデータセット上でエンドツーエンドにモデルを訓練する。
• 2段階の推論を設計する：まず、圧縮された低解像度画像のノイズ除去と修復（Swin2SR-DJPEG）を行い、その後、Swin2SRx4を用いて最終出力をアップスケーリングする。

実験結果

リサーチクエスチョン

• RQ1 SwinV2トランスフォーマーアーキテクチャは、Swinトランスフォーマーと比較して、画像修復タスクにおける訓練収束性と安定性を向上させることができるか？
• RQ2 Swin2SRは、特に高圧縮JPEG（品質q=10）条件下でも、圧縮画像超解像においてどのように性能を発揮するか？
• RQ3 補助損失関数および高周波数損失関数は、画像修復タスクにおけるモデルの収束性と視覚的品質をどの程度向上させるか？
• RQ4 SwinIRなどの既存の最先端手法に比べて、Swin2SRは少ないデータと高速な訓練で競争力のある性能を達成できるか？
• RQ5 Swin2SRは、圧縮画像および動画超解像の実世界ベンチマーク（例：AIM 2022チャレンジ）において、どのように比較されるか？

主な発見

• Swin2SRは、AIM 2022チャレンジの検証セットで23.590 dBのPSNRを達成し、SwinIR（23.546 dB）を上回り、上位5位の成績を収めた。
• 自己アンサンブルを適用した場合、PSNRは23.616 dBに上昇し、非アンサンブル推論に比べてわずかだが一貫した向上が確認された。
• 一部の上位チームが最大100万枚の画像を用いたのに対し、Swin2SRはDIV2KおよびFlickr2Kデータセットのみで競争力ある性能を達成した。
• 特定の設定において、Swin2SRはSwinIRに比べて33％高速に訓練が可能であり、訓練効率の向上が示された。
• 低品質（q=10）でも高周波成分の詳細を回復し、JPEGアーティファクトを効果的に低減し、視覚的にシャープな出力を生成した。
• 多くの最先端モデルと同様に微細なディテールにわずかなぼんやり感が見られるものの、bicubic法やベースライン手法と比較して、Swin2SRは視覚的に優れた結果を生成した。