[論文レビュー] Efficient Image Super-Resolution using Vast-Receptive-Field Attention

Lin Zhou, Haoming Cai+6 more|arXiv (Cornell University)|Oct 12, 2022

Advanced Image Processing Techniques被引用数 8

ひとこと要約

本稿では、広視野注意メカニズムを用いて性能を向上させる軽量な画像超解像ネットワークVapSRを提案する。大キーホルの畳み込み、深度分離畳み込み、および新規のピクセル正規化層を統合することで、IMDB や RFDN と同等の性能を達成しながら、パラメータ数をそれぞれ 21.68% および 28.18% にまで削減した。

ABSTRACT

The attention mechanism plays a pivotal role in designing advanced super-resolution (SR) networks. In this work, we design an efficient SR network by improving the attention mechanism. We start from a simple pixel attention module and gradually modify it to achieve better super-resolution performance with reduced parameters. The specific approaches include: (1) increasing the receptive field of the attention branch, (2) replacing large dense convolution kernels with depth-wise separable convolutions, and (3) introducing pixel normalization. These approaches paint a clear evolutionary roadmap for the design of attention mechanisms. Based on these observations, we propose VapSR, the VAst-receptive-field Pixel attention network. Experiments demonstrate the superior performance of VapSR. VapSR outperforms the present lightweight networks with even fewer parameters. And the light version of VapSR can use only 21.68% and 28.18% parameters of IMDB and RFDN to achieve similar performances to those networks. The code and models are available at https://github.com/zhoumumu/VapSR.

研究の動機と目的

• パラメータ数を大幅に削減しつつ、性能を維持または向上させる効率的な超解像ネットワークの設計。
• 軽量畳み込み超解像ネットワークにおける注意メカニズムにおける広視野の有効性の調査。
• 注意ブランチにおける大規模な密畳み込みを深度分離畳み込みに置き換えることで、モデルの複雑さを低減。
• 新規のピクセル正規化技術により、軽量超解像ネットワークにおける学習の安定化。
• 効率的な超解像ネットワークにおける注意メカニズムの進化を明確に段階的に設計するためのロードマップの構築。

提案手法

• 注意ブランチにおける小さなカーネルを大きなカーネルに置き換えることで、広視野注意メカニズムを導入し、長距離依存性を捉える。
• バックボーンにおける標準的な 3×3 畳み込みを 1×1 畝み込みに置き換えることで、パラメータ数を削減。
• 大キーホル畳み込みを効率的に行うために、深度分離畳み込みおよび深度分離拡張畳み込みを用い、計算コストを低減。
• 特に高い学習率下でも学習の崩壊を防ぐために、学習の安定化を図る新規のピクセル正規化層を提案。
• 最適なパフォーマンスを達成するため、1×1 ポイントワイズ畳み込み、次に 5×5 深度分離畳み込み、さらに 7×7 深度分離拡張畳み込みの順序で注意モジュールを構造化。
• 性能とパラメータ効率のバランスを取るために、カーネルサイズ（5、9、11）およびブロック数の実験を通じて受容 field の最適化を図る。

実験結果

リサーチクエスチョン

• RQ1 注意ブランチにおける受容 field の拡大は、軽量ネットワークにおける超解像性能の向上に寄与するか？
• RQ2 大規模な密畳み込みを深度分離畳み込みに置き換えることで、モデルの効率性とパフォーマンスにどのような影響を与えるか？
• RQ3 広視野を持つ軽量超解像ネットワークの安定した学習を可能にする正規化戦略は何か？
• RQ4 注意モジュール内の処理順序（例：ポイントワイズを深度分離の前に行う）がパフォーマンスおよび収束性に与える影響は何か？
• RQ5 効率的な超解像ネットワークにおいて、受容 field のサイズとモデル複雑度の最適なトレードオフは何か？

主な発見

• VapSR は、NTIRE2022 の効率的超解像コンペティション優勝モデルよりも PSNR で 0.1 dB 以上優れており、パラメータ数は 185K 個も削減されている。
• VapSR のライトバージョンは、IMDB や RFDN と同等の性能を達成しながら、それぞれのパラメータ数の 21.68% および 28.18% のみを用いている。
• 提案されたピクセル正規化は、収束性および最終パフォーマンスの両面でバッチ正規化、インスタンス正規化、グループ正規化を上回る性能を発揮し、安定した学習を可能にした。
• 深度分離畳み込み層における 5×5 カーネルが最良のパフォーマンスを示したが、より大きなカーネル（9×9 および 11×11）はパフォーマンスの低下を引き起こした。
• 注意モジュールにおける 1×1 → 5×5 → 7×7 深度分離畳み込みの順序が、他の順序と比較して優れたパフォーマンスを達成した。
• アブレーションスタディの結果、大キーホルを用いた受容 field の拡大によりパフォーマンスが向上し、深度分離畳み込みが精度の著しい損失を伴わずにパラメータ数を効果的に削減できることを確認した。