[論文レビュー] Fully $1 imes1$ Convolutional Network for Lightweight Image Super-Resolution

Gang Wu, Junjun Jiang+2 more|arXiv (Cornell University)|Jul 30, 2023

Advanced Image Processing TechniquesComputer Science被引用数 3

ひとこと要約

本稿では、パラメータフリーの空間シフト操作を用いて局所的特徴集約を可能にする、軽量画像超解像のための完全な1×1畳み込みネットワーク、SCNetを提案する。標準の1×1畳み込みの制限である局所的空間的特徴集約の欠如を克服する一方で、パラメータとFLOPsを著しく削減した状態で、最先端の性能を達成している。1×1畳み込みのみを用いても、既存の軽量モデルを上回る性能を発揮しており、ベンチマークデータセット上での優れた性能を示している。

ABSTRACT

Deep models have achieved significant process on single image super-resolution (SISR) tasks, in particular large models with large kernel ($3 imes3$ or more). However, the heavy computational footprint of such models prevents their deployment in real-time, resource-constrained environments. Conversely, $1 imes1$ convolutions bring substantial computational efficiency, but struggle with aggregating local spatial representations, an essential capability to SISR models. In response to this dichotomy, we propose to harmonize the merits of both $3 imes3$ and $1 imes1$ kernels, and exploit a great potential for lightweight SISR tasks. Specifically, we propose a simple yet effective fully $1 imes1$ convolutional network, named Shift-Conv-based Network (SCNet). By incorporating a parameter-free spatial-shift operation, it equips the fully $1 imes1$ convolutional network with powerful representation capability while impressive computational efficiency. Extensive experiments demonstrate that SCNets, despite its fully $1 imes1$ convolutional structure, consistently matches or even surpasses the performance of existing lightweight SR models that employ regular convolutions. The code and pre-trained models can be found at https://github.com/Aitical/SCNet.

研究の動機と目的

• リソース制約のあるデバイスへのディープラーニングベースの超解像モデルの導入を容易にするために、モデルの複雑さを低減すること。
• 1×1畳み込み固有の制限（局所的空間的特徴集約の欠如）を克服しつつ、計算効率を維持すること。
• 最小限のパラメータとFLOPsで高い性能を維持する、軽量でありながら強力なSISRアーキテクチャを設計すること。
• 3×3などの大きなカーネルに依存せずに、完全な1×1畳み込みネットワークをSISRに構築する可能性を検証すること。
• 注意機構やアップスケーリングモジュールと統合可能なスケーラブルでパラメータ効率の良いバックボーンを提供すること。

提案手法

• 空間シフト操作を非パrametricに用いることで、1×1畳み込みの拡張として局所的特徴集約を可能にする、Shift-Conv（SC）層を導入する。
• 入力特徴マップをチャネルグループに分割し、複数方向への空間シフトを適用することで、パラメータやFLOPsを増加させずに有効な受容 field を拡大する。
• SC層を基本ブロックとして用いた残差ブロック、SC-ResBlockを構築し、計算コストを最小限に抑えつつ深くスタック可能にする。
• 複数のSC-ResBlockから構成される完全な1×1畳み込みネットワーク、SCNetを提案する。3つのバリアント（SCNet-T（ティニー）、SCNet-B（ベース）、SCNet-L（ラージ））を用意し、深さと幅のスケーラビリティを実現する。
• 1×1畳み込みのみを用いた簡素化された再構成モジュールを採用し、ピクセルシャッフル、バイリニア、ニアレストネイバーなどのさまざまなアップスケーリング戦略をSCNetフレームワーク内で評価する。
• 注意機構（チャネル、空間、ピクセル）との統合をサポートし、モデルの複雑さを著しく増加させることなく、性能をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 3×3などの大きなカーネルを用いない完全な1×1畳み込みネットワークが、画像超解像において競争力のある性能を達成できるか？
• RQ2 パラメータフリーの空間シフト操作が、1×1畳み込みで失われた局所的特徴集約能力を効果的に回復できるか？
• RQ3 提案されたSCNetが、既存の軽量SISRモデルと比較して、モデル効率と性能のバランスをより良く実現できるか？
• RQ4 SCNetアーキテクチャは、さまざまなアップスケーリングモジュールや注意機構に対し、どれほど一般化できるか？
• RQ5 SC層を用いて、FLOPsとパラメータを最小限に抑えつつ高い性能を維持するスケーラブルで軽量なアーキテクチャを構築できるか？

主な発見

• SCNet-Tは、Manga109 ×4データセットで28.75 dBのPSNRを達成し、10万パラメータ未満の他の軽量モデルを上回った。
• ピクセルシャッフルアップスケーリングモジュールを用いたSCNetは、Urban100とManga109でそれぞれ0.10 dBおよび0.11 dBの向上を達成し、2番目に優れた手法を上回った。
• 空間注意機構の統合により性能が向上し、パラメータ数が少なく、効果的にも高い性能を発揮した。
• SCNetはスケーリング要因8でも強い性能を維持しており、高負荷の超解像タスクにおける頑健性を示した。
• 提案されたSCNetは、既存の軽量モデルと比較してFLOPsとパラメータを削減しながらも、ベンチマークデータセット上で最先端の性能を達成した。
• 広範なアブレーションスタディにより、空間シフト操作が計算コストを増加させることなく、受容 field を効果的に拡大し、表現能力を向上させることを確認した。