[論文レビュー] CiaoSR: Continuous Implicit Attention-in-Attention Network for Arbitrary-Scale Image Super-Resolution

Jiezhang Cao, Qin Wang+8 more|arXiv (Cornell University)|Dec 8, 2022

Advanced Image Processing Techniques被引用数 4

ひとこと要約

CiaoSRは、座標と視覚的特徴類似度を用いて特徴集合重みを明示的に学習する連続的で暗黙的な注目メカニズムを備えた任意スケール画像超解像のためのネットワークを提案する。スケールに適応した非局所的注目を組み込むことで受容 field を強化している。ベンチマークデータセットで最先端の性能を達成し、スケール内およびスケール外の分布に優れた一般化性能を示しており、実世界の設定でも優れた結果を示している。

ABSTRACT

Learning continuous image representations is recently gaining popularity for image super-resolution (SR) because of its ability to reconstruct high-resolution images with arbitrary scales from low-resolution inputs. Existing methods mostly ensemble nearby features to predict the new pixel at any queried coordinate in the SR image. Such a local ensemble suffers from some limitations: i) it has no learnable parameters and it neglects the similarity of the visual features; ii) it has a limited receptive field and cannot ensemble relevant features in a large field which are important in an image. To address these issues, this paper proposes a continuous implicit attention-in-attention network, called CiaoSR. We explicitly design an implicit attention network to learn the ensemble weights for the nearby local features. Furthermore, we embed a scale-aware attention in this implicit attention network to exploit additional non-local information. Extensive experiments on benchmark datasets demonstrate CiaoSR significantly outperforms the existing single image SR methods with the same backbone. In addition, CiaoSR also achieves the state-of-the-art performance on the arbitrary-scale SR task. The effectiveness of the method is also demonstrated on the real-world SR setting. More importantly, CiaoSR can be flexibly integrated into any backbone to improve the SR performance.

研究の動機と目的

• 既存の局所的アンサンブル手法が固定で学習不能な重みに依存し、受容 field が十分でないという限界を解消する。
• 座標距離と視覚的特徴類似度に基づく注目重みを学習することで、特徴集約を改善する。
• 暗黙的ネットワーク内にスケールに適応した非局所的注目を統合し、長距離の文脈モデリングを強化する。
• 任意の既存のSRバックボーンに柔軟に統合可能であり、任意スケールでの性能向上を実現する。
• 実世界の超解像において、実用的な劣化モデルと非参照指標を用いて有効性を示す。

提案手法

• CiaoSRは、クエリ座標におけるRGB値を、局所的特徴からのアンサンブル重みを学習することで予測する連続的で暗黙的な注目メカニズムを採用する。
• アンサンブル重みは、クエリとキーの座標間のユークリッド距離と視覚的特徴類似度の両方を考慮する学習可能な注目モジュールによって計算される。
• 長距離の依存関係を捉え、局所領域を超えた受容 field を豊かにするために、暗黙的注目内にスケールに適応した非局所的注目モジュールを埋め込む。
• 任意の既存のSRバックボーンネットワーク（例：RDN や SwinIR）に統合可能なプラグアンドプレイ設計である。
• 適応的学習率スケジューリングと指数移動平均を用いて、L1損失、知覚的損失、GAN損失をエンドツーエンドで訓練する。
• 実世界の劣化データ（ぼかし、ノイズ、圧縮）で微調整することで、実画像への一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 座標と視覚的特徴類似度を同時に考慮する学習可能な暗黙的注目メカニズムは、固定でバイリニアスタイルの局所的アンサンブル手法を上回る性能を示せるか？
• RQ2 スケールに適応した非局所的注目を組み込むことで、異なるスケール要因における性能と一般化性能はどのように向上するか？
• RQ3 提案されたCiaoSRフレームワークは、バックボーンの再訓練なしにさまざまなSRバックボーンに柔軟に統合可能か？
• RQ4 CiaoSRはスケール外の分布や実世界の画像劣化パターンに適応できるか？
• RQ5 CiaoSRは、教師あり評価に依存せずに、ベンチマークおよび実世界の超解像データセットで最先端の性能を達成できるか？

主な発見

• Urban100ベンチマークにおいて、CiaoSRは×2でSSIM 0.938、×8で0.871を達成し、LPIPSは×2で0.100、×8で0.408を記録した。
• 同じベンチマークにおいて、CiaoSRはMetaSR、LIIF、LTE、ITSRNをすべてのスケール要因でSSIMおよびLPIPSの両面で上回った。
• RealSRSetにおける実世界の超解像では、CiaoSRは×8でNIQE 3.5894、×16で3.9461を達成し、RealSR、BSRGAN、Real-ESRGANを上回った。
• 視覚的比較では、CiaoSRは特にドッグの毛並みや数字の複雑な領域において、アーチファクトが少なく、よりシャープなテクスチャを生成した。
• CiaoSRはスケール外の分布に対しても効果的に一般化され、実用的な劣化を伴う実世界データセットでも高い知覚的品質を維持した。
• CiaoSRは優れた転送性を示し、実データでの微調整なしに合成データおよび実世界データの両方で優れた結果を達成した。