[論文レビュー] Image Super-Resolution using Efficient Striped Window Transformer

Jinpeng Shi, Hui Li+6 more|ArXiv.org|Jan 24, 2023

Advanced Image Processing Techniques被引用数 11

ひとこと要約

本論文は ESWT を導入する。軽量な画像超解像のための効率的なストライプドウィンドウ変換器で、自己注意にBNを埋め込み、長距離依存性をモデル化するストライプドウィンドウ機構を用い、追加コストなしで性能を向上させる柔軟なウィンドウ訓練戦略を採用する。

ABSTRACT

Transformers have achieved remarkable results in single-image super-resolution (SR). However, the challenge of balancing model performance and complexity has hindered their application in lightweight SR (LSR). To tackle this challenge, we propose an efficient striped window transformer (ESWT). We revisit the normalization layer in the transformer and design a concise and efficient transformer structure to build the ESWT. Furthermore, we introduce a striped window mechanism to model long-term dependencies more efficiently. To fully exploit the potential of the ESWT, we propose a novel flexible window training strategy that can improve the performance of the ESWT without additional cost. Extensive experiments show that ESWT outperforms state-of-the-art LSR transformers, and achieves a better trade-off between model performance and complexity. The ESWT requires fewer parameters, incurs faster inference, smaller FLOPs, and less memory consumption, making it a promising solution for LSR.

研究の動機と目的

• 性能とモデルの複雑さのバランスを図り、軽量な単一画像超解像（SR）を動機づける。
• 浅いSRモデルに適したコンパクトなトランスフォーマーのバックボーンを提案する。
• ストライプドウィンドウ機構を介して長距離依存性を効率的にモデル化する。
• ストライプドウィンドウ間で共有表現を活用する柔軟なウィンドウ訓練戦略を通じて性能を向上させる。

提案手法

• 自己注意にバッチ正規化（BN）を埋め込み、トランスフォーマ層を再検討・再設計し、トランスフォーマコアから正規化層を取り除く。
• ローカルウィンドウ内にBN埋め込み自己注意（BSA）を導入し、訓練を安定化させつつ複雑さを低減する。
• 伝統的なシフト/重なりウィンドウより低コストで長距離依存性を捉える、垂直および水平のストライプドウィンドウを適用するストライプドウィンドウ機構を開発する。
• ESWTを、浅い特徴抽出モジュール、効率的なトランスフォーマーブロックの深層特徴抽出モジュール、および再構成モジュールで組み立てる。
• ストライプドウィンドウを引き伸ばして受容野を順次拡張し、段階間で重みを共有する3段階の柔軟なウィンドウ訓練戦略を提案する。

実験結果

リサーチクエスチョン

• RQ1 浅いトランスフォーマーにおけるBN埋め込みアテンションは、低い複雑さでSR性能を向上させることができるか？
• RQ2 ストライプドウィンドウ機構は、計算コストを抑えつつ長距離依存性を効果的にモデル化できるか？
• RQ3 追加の訓練コストなしで、柔軟な多段階ウィンドウ訓練戦略はSRの結果を改善できるか？

主な発見

• ESWTは、最先端の軽量SRトランスフォーマーと比較して、性能とモデルの複雑さの間で優れたトレードオフを達成する。
• 自己注意にBNを埋め込み、グローバル正規化を取り除くことで、浅いトランスフォーマの一般化能力が向上する。
• ストライプドウィンドウ機構（垂直および水平のストライプ）は、シフト/重なりウィンドウより低い複雑さで長期依存性のモデリングを強化する。
• 柔軟なウィンドウ訓練戦略は、ストライプドウィンドウ間で共有表現を活用することで、追加の訓練コストなしにSR性能をさらに向上させる。