[論文レビュー] VanillaNet: the Power of Minimalism in Deep Learning

Hanting Chen, Yunhe Wang+2 more|arXiv (Cornell University)|May 22, 2023

Advanced Neural Network Applications被引用数 83

ひとこと要約

VanillaNet は、ショートカットや自己注意なしの最小限で浅い畳み込みアーキテクチャを、深層トレーニング戦略と系列活性化関数で訓練することで、アーキテクチャの複雑さと待機遅延を大幅に削減しつつ、最先端性能に匹敵できることを示す。

ABSTRACT

At the heart of foundation models is the philosophy of "more is different", exemplified by the astonishing success in computer vision and natural language processing. However, the challenges of optimization and inherent complexity of transformer models call for a paradigm shift towards simplicity. In this study, we introduce VanillaNet, a neural network architecture that embraces elegance in design. By avoiding high depth, shortcuts, and intricate operations like self-attention, VanillaNet is refreshingly concise yet remarkably powerful. Each layer is carefully crafted to be compact and straightforward, with nonlinear activation functions pruned after training to restore the original architecture. VanillaNet overcomes the challenges of inherent complexity, making it ideal for resource-constrained environments. Its easy-to-understand and highly simplified architecture opens new possibilities for efficient deployment. Extensive experimentation demonstrates that VanillaNet delivers performance on par with renowned deep neural networks and vision transformers, showcasing the power of minimalism in deep learning. This visionary journey of VanillaNet has significant potential to redefine the landscape and challenge the status quo of foundation model, setting a new path for elegant and effective model design. Pre-trained models and codes are available at https://github.com/huawei-noah/VanillaNet and https://gitee.com/mindspore/models/tree/master/research/cv/vanillanet.

研究の動機と目的

• リソース制約のある環境での導入を容易にするミニマリストCNN設計への移行を促す。
• 深さ、ショートカット、自己注意を避けつつ競争力のある性能を維持する VanillaNet アーキテクチャを提案する。
• 浅いネットの非線形性が限られることを補うトレーニングと活性化技術を開発する。
• 大規模な画像分類および下流タスクで VanillaNet を評価し、効率性と精度のトレードオフをベンチマークする。

提案手法

• VanillaNet を導入: ステムは 4x4x3xC の 1 層ステージごとのアーキテクチャ、ストライド-4 の畳み込み、以降の段はチャネルを倍増させる 1x1 畳み込みを使用（最終段を除く）。
• エポックを通じてλ=e/Eに従って、アクティベーションを重み付き恒等混合 A'(x)=(1-λ)A(x)+λx に置換して畳み込みのペアを徐々に統合する深層トレーニング戦略を用いる。
• 非負荷で非線性を高めるため、系列活性化関数 A_s(x) = sum_{i=-n}^{n} a_i A(x + b_i) を提案（近傍シフトのバリアントあり）。
• トレーニング後にBNと隣接畳み込みを統合し、推論を効率化する単一の畳み込みを得る（1x1畳み込みには特別な取り扱い）。
• 系列ベースの活性化を実装して特徴マップ間の全域情報交換を可能にし、標準畳み込みと実行時コストを比較する（実用設定では O(SA) ≪ O(CONV)）。
• 系列項数 n、深層トレーニング、ショートカットの有無/位置についてアブレーション実験を行う（いずれも VanillaNet において明確な利得を与えない）。

実験結果

リサーチクエスチョン

• RQ1 ショートカットや自己注意を持たない浅い完全畳み込みネットワークが競争力のある ImageNet 精度を達成できるか？
• RQ2 深層トレーニングと系列活性化技術はミニマリスト VanillaNet バリアントの性能を確実に高めるか？
• RQ3 ミニマリストアーキテクチャでショートカットを除去した場合の性能と推論スピードへの影響はどうか？
• RQ4 下流タスク（例: COCO）で VanillaNet は最先端バックボーンと比べてどうか？

主な発見

モデル	パラメータ (M)	FLOPs (B)	深さ	レイテンシ (ms)	Acc (%)	実精度 (%)
VanillaNet-9	41.4	8.6	9	2.91	79.87	85.66
VanillaNet-13-1.5×	127.8	26.5	13	7.83	82.53	87.85

• VanillaNet with series activation (n=3) attains 76.36% top-1 on ImageNet for VanillaNet-6 and 76.36% overall with deep training.
• Deep training plus series activation substantially improves vanilla shallow networks (e.g., AlexNet gains ~6%); ResNet-50 gains are marginal, indicating diminishing returns for already deep, non-minimal models.
• Shortcuts provide little or no accuracy gains for VanillaNet; may even slightly reduce non-linearity-driven performance in this minimal architecture.
• VanillaNet-9 achieves 79.87% top-1 with 2.91 ms latency on Nvidia A100 (batch size 1); VanillaNet-13-1.5× reaches 83.11% top-1 with 7.83 ms latency, indicating strong speed-accuracy trade-offs for shallow minimalist nets.
• On ImageNet, VanillaNet-9-13-1.5× shows competitive accuracy (up to ~83.1% real accuracy) with significantly different depth and latency profiles compared to ResNet-50 and ConvNext variants.
• In COCO, VanillaNet-13 delivers competitive AP metrics and higher FPS than some backbone Swin/ConvNext variants despite higher FLOPs/parameters, suggesting efficiency advantages in real-time settings