[論文レビュー] Efficient Mixed Transformer for Single Image Super-Resolution

Ling Zheng, Jinchen Zhu+2 more|arXiv (Cornell University)|May 19, 2023

Advanced Image Processing Techniques被引用数 4

ひとこと要約

本稿では、単一画像超解像（SISR）向けの軽量なTransformerベースアーキテクチャ、Efficient Mixed Transformer（EMT）を提案する。EMTは、パラメータフリーのピクセルミキサー（PM）を用いて局所的特徴の集約を向上させるとともに、ストライプドウインドウ自己注意（SWSA）を活用してグローバルモデリングの効率を向上させる。EMTは、計算量を低減しつつ、Set5、Urban100、BSD100といったベンチマークデータセットにおける×4拡大において、最先端の性能を達成している。

ABSTRACT

Recently, Transformer-based methods have achieved impressive results in single image super-resolution (SISR). However, the lack of locality mechanism and high complexity limit their application in the field of super-resolution (SR). To solve these problems, we propose a new method, Efficient Mixed Transformer (EMT) in this study. Specifically, we propose the Mixed Transformer Block (MTB), consisting of multiple consecutive transformer layers, in some of which the Pixel Mixer (PM) is used to replace the Self-Attention (SA). PM can enhance the local knowledge aggregation with pixel shifting operations. At the same time, no additional complexity is introduced as PM has no parameters and floating-point operations. Moreover, we employ striped window for SA (SWSA) to gain an efficient global dependency modelling by utilizing image anisotropy. Experimental results show that EMT outperforms the existing methods on benchmark dataset and achieved state-of-the-art performance. The Code is available at https://github.com/Fried-Rice-Lab/FriedRiceLab.

研究の動機と目的

• TransformerベースのSISR手法における局所的モデリングの欠如と高い計算複雑性を解消すること。
• パラメータやFLOPsを増加させずに局所的特徴の集約を改善すること。
• 画像の非等方的構造を活用してグローバル依存関係モデリングの効率を向上させること。
• 軽量SISRのための性能とモデル複雑性のより良いトレードオフを実現すること。
• モバイルおよび組み込みデバイスへの効率的なSISRモデルのデプロイを可能にすること。

提案手法

• グローバル（GTL）とローカル（LTL）のTransformer層を交互に配置した「ミックスドトランスフォーマーブロック（MTB）」を提案し、グローバルとローカルモデリングのバランスを図る。
• チャネル別分離とピクセルシフトを用いたパラメータフリーでFLOPsフリーのローカルパーセプトロンとしてのピクセルミキサー（PM）を導入し、局所的特徴の集約を強化する。
• 画像の非等方的性質を活用して、計算量を低減しつつ長距離依存関係を効率的にモデリングするストライプドウインドウ自己注意（SWSA）を採用する。
• 浅い特徴抽出、スタックされたMTBを用いた深い特徴抽出、スキップ接続を用いた再構成という3段階のアーキテクチャを採用する。
• PMにおいてチャネル別特徴ミキシングとピクセルシフトを適用し、追加のパラメータを追加せずに局所的受容 field を拡大する。
• 一部の自己注意層をPMに置き換えることで、パフォーマンスを維持しつつモデルの複雑性を制御する。

実験結果

リサーチクエスチョン

• RQ1 選択的自己注意とローカルパーセプトロンを組み合わせたミックスドトランスフォーマーブロックは、SISRにおける局所的特徴学習を向上させることができるか？
• RQ2 パラメータフリーのピクセルミキサー（PM）は、FLOPsやパラメータを増加させずに局所的知識の集約を向上させることができるか？
• RQ3 ストライプドウインドウ注目は、画像の非等方的性質を活用することで、グローバル依存関係モデリングの効率を向上させることができるか？
• RQ4 SISRのパフォーマンスと複雑性の最適なバランスを実現するには、MTBにおけるグローバル層とローカル層の最適な比率は何か？
• RQ5 提案されたEMTは、従来の軽量SISR手法よりも低いモデル複雑性で最先端のパフォーマンスを達成できるか？

主な発見

• EMTは、Set5、Set14、Urban100、BSD100、Manga109における×4超解像で最先端の性能を達成し、Set5ではPSNRが32.559、Urban100では26.741を記録した。
• 2GTL（グローバルトランスフォーマーレイヤー）を搭載したMTBが、同等のパラメータ量において4GTLおよび6GTLのバージョンを上回る性能-複雑性トレードオフを達成した。
• ピクセルミキサー（PM）は、平均注目距離（MAD）を低減させるとともに、特に深層部で局所的注目頻度を増加させたが、パラメータやFLOPsの追加はなかった。
• PMを搭載したEMTは、Manga109で31.329のPSNRを達成し、同等のパラメータ制約下でのアイデンティティマッピングベースライン（31.296）を上回った。
• ストライプドウインドウを用いたSWSAは、正方形ウインドウと比較してグローバルモデリングの効率とパフォーマンスを向上させた。特に、ネットワークの深い段階で顕著な向上が見られた。
• アブレーションスタディの結果、PMはテクスチャーやディテールの回復を顕著に向上させたことが、Urban100およびManga109における定性的な結果からも確認された。