[論文レビュー] A Matrix-in-matrix Neural Network for Image Super Resolution

Hailong Ma, Xiangxiang Chu+3 more|arXiv (Cornell University)|Mar 19, 2019

Advanced Image Processing Techniques参考文献 39被引用数 4

ひとこと要約

本論文では、中間特徴を階層的に活用するためのマルチコネクトド・チャンネルアテンションブロック（MCAB）を備えた、単一画像超解像のための軽量な行列内行列ニューラルネットワーク（MCAN）を提案する。この手法は、CARN や FALSR と比較して顕著に少ないパラメータ数と乗加算回数で最先端の PSNR 性能を達成しており、高速シグモイド関数（MCAN-FAST）を用いることでモバイルデバイス上でも効率的な性能を維持している。

ABSTRACT

In recent years, deep learning methods have achieved impressive results with higher peak signal-to-noise ratio in single image super-resolution (SISR) tasks by utilizing deeper layers. However, their application is quite limited since they require high computing power. In addition, most of the existing methods rarely take full advantage of the intermediate features which are helpful for restoration. To address these issues, we propose a moderate-size SISR net work named matrixed channel attention network (MCAN) by constructing a matrix ensemble of multi-connected channel attention blocks (MCAB). Several models of different sizes are released to meet various practical requirements. Conclusions can be drawn from our extensive benchmark experiments that the proposed models achieve better performance with much fewer multiply-adds and parameters. Our models will be made publicly available.

研究の動機と目的

• 深層超解像ネットワークの高い計算コストを軽減するための軽量アーキテクチャの設計。
• 中間層における特徴の活用を向上させ、画像修復品質の向上を図る。
• 既存の軽量モデルよりも優れた PSNR 性能を達成するとともに、モデルサイズと FLOPs の削減を実現する。
• 固定小数点ユニット向けにシグモイド活性化関数を最適化することで、モバイルデバイスへの効率的なデプロイを可能にする。
• 多様な応用要件に対応するための複数のモデルバリアント（MCAN-M、MCAN-S、MCAN-T）の提供。

提案手法

• 各活性化関数の後に残差接続を追加することで、複数の深さと幅にわたる階層的特徴フローを可能にするマルチコネクトド・チャンネルアテンションブロック（MCAB）を提案する。
• スタックされた MCAB を用いて行列内行列（MIM）構造を構築し、深く広い情報伝達により特徴学習を強化する非線形マッピングモジュールを形成する。
• 低解像度特徴と MIM の出力を統合することで、LR 空間からの階層的特徴をより効果的に活用するエッジ特徴統合（EFF）ブロックを導入する。
• 標準的なシグモイド関数の代わりに、計算コストを低減するための高速シグモイド関数（f_fast(x) = x / (1 + |x|)）を設計する。これにより、顕著な精度損失なしにモバイル DSP 上での推論速度が向上する。
• データオーグメンテーションを用いた標準的な超解像損失関数でネットワークを学習・最適化し、ベンチマークデータセット上で PSNR を最適化する。
• フィルタ数とグループ畳み込みの調整により、効率性と精度のトレードオフを調整することで、MCAN-M、MCAN-S、MCAN-T の3つのモデルバリアントをリリースする。

実験結果

リサーチクエスチョン

• RQ1 軽量な超解像ネットワークは、少ないパラメータ数と乗加算回数で最先端の PSNR 性能を達成できるか？
• RQ2 行列内行列（MIM）構造は、階層的接続を通じて特徴表現をどの程度向上できるか？
• RQ3 エッジ特徴統合（EFF）ブロックは、低解像度特徴と中間特徴を統合することで、性能をどの程度向上できるか？
• RQ4 シグモイド関数を高速シグモイド関数に置き換えることで、モバイルデバイス上での推論速度が向上し、精度は維持できるか？
• RQ5 提案されたモデルは、CARN や FALSR、LapSRN といった既存の SOTA モデルと比較して、異なるモデルサイズにおいて性能と効率性の両面で優れているか？

主な発見

• MCAN-M は CARN-M よりも高い PSNR を達成しているが、乗加算回数とパラメータ数は約半分である。
• MCAN-S は、×2 タスクでラップSRN より平均 0.5 dB、×4 タスクで 0.4 dB の PSNR 向上を達成しており、モデルサイズは半分である。
• MCAN-T は、同じ乗加算回数の条件下で FSRCNN をすべてのタスクで上回り、リアルタイム応用に適した優れた効率性を示している。
• アブレーションスタディの結果、MIM 構造の導入により PSNR が 0.81 dB（29.44 dB から 30.25 dB）向上し、EFF の追加でさらに 30.28 dB まで向上した。
• MCAN-FAST は MCAN とほぼ同等の PSNR を達成しながら、特に固定小数点ユニット搭載のモバイルデバイスにおいて推論コストを顕著に低減した。
• MCAN ファミリー全体は、MoreMNAS-A や FALSR-A を含む、すべての提示された SOTA モデルを、同等またはより大きな FLOP バジェットにおいて上回り、軽量領域における新たな SOTA を確立した。