[論文レビュー] AugShuffleNet: Communicate More, Compute Less

Longqing Ye|arXiv (Cornell University)|Mar 13, 2022

Anomaly Detection Techniques and Applications被引用数 9

ひとこと要約

本稿では、シャッフルネットV2の元のシャッフルブロックを、暗黙の短絡接続と調整可能なチャネルスプリットレシオを備えたボトルネック型の拡張シャッフルブロックに置き換えることで、より効率的なCNNアーキテクチャ「AugShuffleNet」を提案する。柔軟なスプリットレシオによるチャネルワイズな再冗長性の低減と、向上した情報フローにより、すべての幅乗数においてFLOPsとパラメータ数を削減しつつ、CIFAR-10およびCIFAR-100でシャッフルネットV2を上回る高い精度を達成する。

ABSTRACT

As a remarkable compact model, ShuffleNetV2 offers a good example to design efficient ConvNets but its limit is rarely noticed. In this paper, we rethink the design pattern of ShuffleNetV2 and find that the channel-wise redundancy problem still constrains the efficiency improvement of Shuffle block in the wider ShuffleNetV2. To resolve this issue, we propose another augmented variant of shuffle block in the form of bottleneck-like structure and more implicit short connections. To verify the effectiveness of this building block, we further build a more powerful and efficient model family, termed as AugShuffleNets. Evaluated on the CIFAR-10 and CIFAR-100 datasets, AugShuffleNet consistently outperforms ShuffleNetV2 in terms of accuracy with less computational cost and fewer parameter count.

研究の動機と目的

• シャッフルネットV2のシャッフルブロックにおける継続的なチャネルワイズな再冗長性を是正することにより、そのコンactな設計にもかかわらず、効率性の向上が制限されているという問題に取り組む。
• 計算コストを増加させることなく、層間の情報フローを向上させる、より柔軟で効率的なビルディングブロックの開発を目的とする。
• FLOPsとパラメータ数を削減しながらも高い精度を維持する新しいコンパクトなCNNファミリー、AugShuffleNetの設計を目的とする。
• 標準的な画像分類ベンチマークにおいて、複数の幅乗数にわたる拡張シャッフルブロックの有効性を検証すること。

提案手法

• 1×1畳み込み、ディープワイド畳み込み、および調整可能なレシオのチャネルワイズスプリットを組み合わせたボトルネック型構造を有する拡張シャッフルブロックを導入し、標準的なシャッフルブロックに置き換える。
• 変換段階の出力と元の特徴マップを統合することで、暗黙の短絡接続を組み込み、勾配の流れと特徴の再利用を向上させる。
• 学習可能なスプリット比パラメータ（r）を用いて「特徴バンク」に保持されるチャネル数を制御し、計算量と表現能力の間で動的なトレードオフを可能にする。
• ネットワークアーキテクチャ全体に拡張ブロックを適用し、シャッフルネットV2のすべてのシャッフルブロックを置き換えることで、AugShuffleNetファミリーを構築する。
• CIFAR-10およびCIFAR-100で300エポックにわたり、標準的なデータオーグメンテーション（ランダムクロップ、水平反転）、SGDとコサインスケジューリングによる学習率減衰、重み減衰を用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 シャッフルネットV2のブロック設計におけるチャネルワイズな再冗長性の低減は、精度と効率の向上に寄与するか？
• RQ2 拡張シャッフルブロックに柔軟なスプリット比を導入することで、モデルの性能と計算コストにどのような影響を与えるか？
• RQ3 拡張ブロックに暗黙の短絡接続を組み込むことで、訓練のダイナミクスと最終的な精度が向上するか？
• RQ4 異なるネットワーク幅において、拡張シャッフルブロックはCIFARデータセットで一貫して元のシャッフルブロックを上回る性能を示すか？

主な発見

• AugShuffleNet $1.5\times$ はCIFAR-10で94.40%のトップ-1精度を達成し、シャッフルネットV2 $1.5\times$（93.97%）を上回り、FLOPsは94.27Mから85.38Mに削減された。
• CIFAR-100では、AugShuffleNet $1.5\times$ が75.91%の精度に達し、シャッフルネットV2 $1.5\times$（74.70%）を上回り、FLOPsは94.36Mから85.47Mに削減された。
• $0.5\times$ 幅バージョンでは、AugShuffleNetがCIFAR-10で91.05%の精度を達成し、シャッフルネットV2 $0.5\times$（90.83%）を0.22%上回った。FLOPsは10.91Mから10.20Mに削減された。
• スプリット比 $r=0.125$ のバージョンは、$r=0.375$ のバージョンよりもCIFAR-10で0.29%高い精度を達成したが、FLOPsは79.6%、パラメータ数は76.7%にまで削減された。
• アブレーションスタディの結果、拡張ブロックは特に幅広いネットワークにおいてチャネルワイズな再冗長性を低減し、効率性と性能の両方を向上させることを確認した。