[論文レビュー] Cross-receptive Focused Inference Network for Lightweight Image Super-Resolution

Wenjie Li, Juncheng Li+4 more|arXiv (Cornell University)|Jul 6, 2022

Advanced Image Processing Techniques被引用数 4

ひとこと要約

本稿では、クロススケールおよび文脈的情報を動的に統合することで特徴表現を向上させる、単一画像超解像のための軽量ハイブリッドCNN-Transformerアーキテクチャであるクロス感受野集中推論ネットワーク（CFIN）を提案する。CIAM（クロススケール情報集約モジュール）とCFGT（クロス感受野ガイドドトランスフォーマー）を統合することで、計算コストとモデルサイズを低減しつつ、ベンチマークデータセット上で純粋なCNNおよびトランスフォーマーベースラインを上回る最先端の性能を達成する。

ABSTRACT

Recently, Transformer-based methods have shown impressive performance in single image super-resolution (SISR) tasks due to the ability of global feature extraction. However, the capabilities of Transformers that need to incorporate contextual information to extract features dynamically are neglected. To address this issue, we propose a lightweight Cross-receptive Focused Inference Network (CFIN) that consists of a cascade of CT Blocks mixed with CNN and Transformer. Specifically, in the CT block, we first propose a CNN-based Cross-Scale Information Aggregation Module (CIAM) to enable the model to better focus on potentially helpful information to improve the efficiency of the Transformer phase. Then, we design a novel Cross-receptive Field Guided Transformer (CFGT) to enable the selection of contextual information required for reconstruction by using a modulated convolutional kernel that understands the current semantic information and exploits the information interaction within different self-attention. Extensive experiments have shown that our proposed CFIN can effectively reconstruct images using contextual information, and it can strike a good balance between computational cost and model performance as an efficient model. Source codes will be available at https://github.com/IVIPLab/CFIN.

研究の動機と目的

• 既存のトランスフォーマー基盤SISR手法が、効率的な特徴抽出のための文脈的情報を動的にモデル化する能力に制限を受ける問題に対処すること。
• 単一画像超解像において、高い画像修復品質を維持しつつ、計算複雑性とモデルサイズを低減すること。
• CNNの局所的特徴抽出とトランスフォーマーのグローバルモデリングのギャップを埋めるために、補完的なハイブリッドアーキテクチャを設計すること。
• 軽量でパラメータ効率の良い設計により、リソース制限のあるデバイスへの効率的なデプロイを可能にすること。

提案手法

• 段階的なCTブロックで構成されるハイブリッドネットワークアーキテクチャを提案し、それぞれのブロックにCNNベースのクロススケール情報集約モジュール（CIAM）を統合して初期特徴の精錬を実現する。
• 現在の意味的コンテンツに基づいて文脈的に関連する特徴を選択的に適応的に選択するモジュレート型畳み込みカーネルを用いたクロス感受野ガイドドトランスフォーマー（CFGT）を導入する。
• トランスフォーマー内に動的アテンション機構を採用し、相互自己アテンション相互作用を活用して特徴選択をガイドし、長距離依存性モデリングを強化する。
• CTブロックの段階的スタックにより、局所的ディテールの保持とグローバル文脈統合のバランスを図り、特徴を段階的に精錬する。
• トランスフォーマー段階の前段で異なるスケールの特徴を統合するCIAMを設計することで、効率を向上させ、関連する情報に焦点を当てる。
• パラメータ数、FLOPs、推論速度のバランスを最適化することで、最小限の計算オーバーヘッドで高い性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドCNN-Transformerアーキテクチャは、軽量なSISRにおいて局所的およびグローバルな特徴モデリングを効果的に統合できるか？
• RQ2 画像再構築中に文脈的情報を動的に選択・集中させることで、性能向上が達成できるか？
• RQ3 トランスフォーマーのアテンション機構におけるモジュレート型畳み込みカーネルが、意味的文脈に基づく特徴選択を向上させられるか？
• RQ4 提案されたCFINは、純粋なCNNまたはトランスフォーマーベースラインと比較して、モデル効率と性能のトレードオフをより良く実現できるか？
• RQ5 移動端末向けに適した低計算リソース環境下でも、モデルは高い性能を維持できるか？

主な発見

• Set5（×4）においてPSNRが32.49 dBに達し、純粋なCNNおよび純粋なTransformerモデルを上回る最高の性能を達成した。
• Urban100（×2）ではPSNRが26.39 dB、SSIMが0.7946を記録し、計算コストを最小限に抑えながら優れた性能を示した。
• モデルサイズ（699Kパラメータ）、FLOPs（11.45G）、推論時間（0.035秒）のバランスが良く、同等のモデルよりも効率性に優れた。
• アブレーションスタディにより、CFINにおけるCNNとトランスフォーマーの組み合わせが、単体での使用よりも優れた性能を発揮することが確認され、両者の補完的性質が裏付けられた。
• Set5、Set14、Urban100、Manga109のすべてのベンチマークデータセットで最先端の性能を達成し、PSNRおよびSSIMの両面で一貫した改善が得られた。
• 単一のNVIDIA RTX 2080Ti GPU上でデプロイ可能であり、高速な推論を維持しているため、モバイルおよびエッジアプリケーションに適している。