[論文レビュー] Faster Attention Is What You Need: A Fast Self-Attention Neural Network Backbone Architecture for the Edge via Double-Condensing Attention Condensers

Alexander Wong, Mohammad Javad Shafiee+3 more|arXiv (Cornell University)|Aug 15, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、二重圧縮注意凝縮器（DC-AC）を用いて特徴埋め込みを二段階の圧縮で圧縮する、エッジAI向けの高速自己注意ニューラルネットワークバックボーンであるAttendNeXtを提案する。このアーキテクチャは、ARM Cortex A72上でFB-Net C や MobileOne-S1 よりも10倍以上の高い推論スループットを達成しながら、高い精度（MobileViT XS よりも1.1%高いトップ1精度）と小型化（MobileNetV3-L よりも1.37倍小さい）を維持している。

ABSTRACT

With the growing adoption of deep learning for on-device TinyML applications, there has been an ever-increasing demand for efficient neural network backbones optimized for the edge. Recently, the introduction of attention condenser networks have resulted in low-footprint, highly-efficient, self-attention neural networks that strike a strong balance between accuracy and speed. In this study, we introduce a faster attention condenser design called double-condensing attention condensers that allow for highly condensed feature embeddings. We further employ a machine-driven design exploration strategy that imposes design constraints based on best practices for greater efficiency and robustness to produce the macro-micro architecture constructs of the backbone. The resulting backbone (which we name AttendNeXt) achieves significantly higher inference throughput on an embedded ARM processor when compared to several other state-of-the-art efficient backbones (>10x faster than FB-Net C at higher accuracy and speed and >10x faster than MobileOne-S1 at smaller size) while having a small model size (>1.37x smaller than MobileNetv3-L at higher accuracy and speed) and strong accuracy (1.1% higher top-1 accuracy than MobileViT XS on ImageNet at higher speed). These promising results demonstrate that exploring different efficient architecture designs and self-attention mechanisms can lead to interesting new building blocks for TinyML applications.

研究の動機と目的

• リソース制約のあるエッジデバイスにおけるオンデバイスTinyML推論に特化した、効率的で正確なニューラルネットワークバックボーンの増加するニーズに対応する。
• 既存の効率的アーキテクチャの限界を克服し、自己注意メカニズムの強化によって、速度・精度・コンパクトネスのトレードオフを改善する。
• より凝縮され、代表的な特徴埋め込みを実現するための計算コストを低減する、新しい二重圧縮注意凝縮器（DC-AC）メカニズムを開発する。
• DC-ACモジュールを統合しながら、効率性と安定性のベストプラクティスに従う、強固なマシン駆動のマクロ・ミクロアーキテクチャ（AttendNeXt）を設計する。
• ImageNet上で高い推論スループット、小型モデルサイズ、強力な精度を達成することで、エッジハードウェアにおける優れたパフォーマンスを実証する。

提案手法

• 二段階の圧縮ステージ（入力特徴に対するものと、最初の圧縮出力に対するもの）を適用する二重圧縮注意凝縮器（DC-AC）を導入し、より深い特徴圧縮を可能にする。
• 凝縮レイヤー（注意に基づくプーリングにより空間的・チャネル次元を低減）、埋め込みレイヤー（空間的・チャネル的活性化関係を学習）、拡張レイヤー（残差接続のための次元回復）の3つの主要構成要素を備えたDC-ACメカニズムを設計する。
• 効率性、耐性、ハードウェア互換性のベストプラクティスに基づく設計制約を課すマシン駆動の設計探索戦略を採用し、AttendNeXtマクロ・ミクロアーキテクチャを生成する。
• 異種のカラム構造を採用：初期段階では特徴の分離学習を実現する独立カラムを用い、後続段階では複雑な抽象化を実現するためのカラム間相互作用を強化する。
• 注意メカニズムのシフト不変性と安定性を向上させるために、ネットワーク全体にAADS（適応的注意ベースのダウンサンプリング）モジュールを統合する。
• ARM Cortex A72におけるトップ1精度、モデルサイズ、推論スループットのバランスを最適化するための多目的探索フレームワークを用いて、最終アーキテクチャを最適化する。

実験結果

リサーチクエスチョン

• RQ1 二重圧縮注意メカニズムは、エッジデプロイ用に自己注意ネットワークの効率性と表現力の両面を顕著に向上させることができるか？
• RQ2 本稿で提案するDC-ACメカニズムは、単一圧縮注意凝縮器と比較して、特徴圧縮、精度、計算コストの面でどのように異なるか？
• RQ3 ハードウェアに配慮した制約を組み込んだマシン駆動の設計戦略は、手動設計やNASベースの代替手法と比較して、より効率的かつ耐性のあるバックボーンアーキテクチャを生み出せるか？
• RQ4 AttendNeXtは、MobileNetV3、MobileOne、FB-Netなどの最先端の効率的バックボーンと比較して、エッジプロセッサ上で優れた速度・精度・モデルサイズのバランスを達成できるか？
• RQ5 二重圧縮の導入により、低消費電力デバイスにおける視覚タスクの注意ベース特徴学習の一般化性能と耐性が向上するか？

主な発見

• AttendNeXtはImageNetで75.8%のトップ1精度を達成し、MobileViT-XSを1.1%上回り、他の最先端モデルと同等またはそれを上回る精度を維持しながら、顕著に高速である。
• ARM Cortex A72プロセッサ上で、AttendNeXtはFB-Net C や MobileOne-S1 よりも10倍以上の高い推論スループットを達成し、OFA-62 よりも6倍以上速い。
• AttendNeXtはOFA-62 よりも1.47倍小さく、MobileNetV3-L よりも1.37倍小さいため、精度を損なわずに強力なモデル圧縮を実現している。
• 二重圧縮注意凝縮器（DC-AC）は、従来の注意凝縮器よりもより凝縮された特徴埋め込みを可能にし、計算複雑性を低減しながらも表現力は保持している。
• 段階的なカラム相互作用を備えた異種カラムアーキテクチャは、初期段階での独立学習と深い段階での協調学習により、特徴抽象化の効率性を向上させている。
• AADSモジュールの統合により、シフト不変性と安定性が向上し、エッジハードウェア上で多様な入力変動にわたる耐性あるパフォーマンスに寄与している。