[論文レビュー] Seesaw-Net: Convolution Neural Network With Uneven Group Convolution

Jintao Zhang|arXiv (Cornell University)|May 9, 2019

Advanced Neural Network Applications参考文献 30被引用数 6

ひとこと要約

Seesaw-Net は、チャンネルシャッフル操作に依存せずに、表現能力を向上させるために不均等なグループ化畳み込みと、2つの新しい情報フロー構造 — Seesaw-shuffle および Seesaw-share — を導入した。この手法は、計算コストを最小限に抑えつつ、ImageNet および CIFAR ベンチマークで最先端の精度を達成し、MobileNet-V2 や IGCV3 と同等の制約下でも優れた性能を発揮する。

ABSTRACT

In this paper, we are interested in boosting the representation capability of convolution neural networks which utilizing the inverted residual structure. Based on the success of Inverted Residual structure[Sandler et al. 2018] and Interleaved Low-Rank Group Convolutions[Sun et al. 2018], we rethink this two pattern of neural network structure, rather than NAS(Neural architecture search) method[Zoph and Le 2017; Pham et al. 2018; Liu et al. 2018b], we introduce uneven point-wise group convolution, which provide a novel search space for designing basic blocks to obtain better trade-off between representation capability and computational cost. Meanwhile, we propose two novel information flow patterns that will enable cross-group information flow for multiple group convolution layers with and without any channel permute/shuffle operation. Dense experiments on image classification task show that our proposed model, named Seesaw-Net, achieves state-of-the-art(SOTA) performance with limited computation and memory cost. Our code will be open-source and available together with pre-trained models.

研究の動機と目的

• 計算コストを増加させることなく、モバイル向けに最適化されたCNNの表現能力を向上させること。
• 従来の均等なグループ化畳み込みには、計算量が最小限であっても最適な性能を発揮しない場合があるという制限を解決すること。
• 不均等なグループ化戦略に基づいた、ニューラルアーキテクチャ探索（NAS）のための新しい探索空間を設計すること。
• 高価なチャンネルシャッフル操作に依存せずに、グループ化畳み込み層における効果的なクロスグループ情報フローを実現すること。
• リソース制限のあるモバイルおよびエッジデバイスに適した、メモリおよび計算効率に優れたアーキテクチャを開発すること。

提案手法

• 入力および出力チャネルを不均等なグループサイズ（例：1:2 の比率）に分割する不均等なポイントワイドグループ化畳み込みを導入し、スパースで構造的なグループ化パターンを形成する。
• 隣接する不均等なグループ間で構造的な順列操作を実行する Seesaw-shuffle ブロックを提案し、クロスグループ間の情報フローを可能にする。
• 隣接する不均等なグループ化畳み込みの間で直接チャネルを共有することで、クロスグループ情報フローを実現する Seesaw-share ブロックを導入し、チャンネルシャッフル操作の必要性を排除する。
• スパースなグループ化カーネルを用いて、高い表現能力を維持しつつも強固で効率的なニューラルビルディングブロックを構築する。
• 標準的な均等なグループ化や固定カーネルパターンを越えた、ハイブリッドなグループ化戦略に基づいた、NAS用の新しい探索空間を設計する。
• 標準的なディープラーニング演算を採用することで、既存のフレームワークとの互換性を確保し、推論オーバーヘッドを低減する。

実験結果

リサーチクエスチョン

• RQ1 従来の均等なグループ化畳み込みと比較して、不均等なグループ化畳み込みは、計算量を抑えつつも、軽量CNNにおける表現能力を向上させることができるか？
• RQ2 グループ化畳み込み層において、チャンネルシャッフル操作に依存せずに、効果的なクロスグループ情報フローを実現できるか？
• RQ3 提案された Seesaw ブロック設計は、MobileNet-V2 や IGCV3 といった既存のモバイルアーキテクチャと比較して、より優れた精度-効率トレードオフを実現できるか？
• RQ4 Seesaw-Net アーキテクチャは、FLOPsおよびパラメータ制約が厳しい条件下でも、さまざまなデータセットおよびモデルスケールにおいて優れた性能を発揮するか？
• RQ5 提案手法は、逆残差構造に限定されない他のニューラルブロック設計に対しても一般化可能か？

主な発見

• 0.5× デプスマルチプライヤーを用いた Seesaw-Net は、CIFAR-10 でトップ-1精度95.09%を達成し、FLOPsが同程度の IGCV3(0.5D)（94.83%）および Seesaw-shareNet(v1)（94.56%）を上回った。
• チャンネルシャッフルを必要としない Seesaw-shareNet のバリエーションは、CIFAR-10 でトップ-1精度94.56%を達成し、高価なシャッフル操作なしでクロスグループ情報フローが実現可能であることを示した。
• CIFAR-100 では、Seesaw-shareNet(v1 0.5D) が76.14%のトップ-1精度を達成し、パラメータとFLOPsがそれぞれ400万増加したのみで、IGCV3(0.5D)の75.75%を上回った。
• 制限された計算およびメモリコストで ImageNet においても最先端の性能を達成し、その効率性とスケーラビリティを裏付けた。
• 固定されたFLOPsおよびチャネル制約下でも、不均等なグループ化畳み込みは均等なグループ化畳み込みよりも優れた表現能力を示し、均等なグループ化が最適であるという仮定に疑問を呈した。
• 提案された Seesaw ブロックは、スパースなグループ化戦略に伴う性能劣化を低減する効果的なグループ間情報フローを実現した。