[論文レビュー] AttendNets: Tiny Deep Image Recognition Neural Networks for the Edge via Visual Attention Condensers

Alexander Wong, Mahmoud Famouri+1 more|arXiv (Cornell University)|Sep 29, 2020

Advanced Memory and Neural ComputingEngineering被引用数 17

ひとこと要約

AttendNetsは、視覚的注意凝縮器（自己注意メカニズム）と機械学習駆動のアーキテクチャ探索を組み合わせることで、オンデバイス画像認識に向けた高効率で低精度の深層ニューラルネットワークを導入する。この手法は、MobileNet-V1と比較して最大16.7倍のメモリ低減と3倍のFLOPs削減を達成し、TinyMLアプリケーションにおける精度と複雑さのトレードオフを優れて実現している。

ABSTRACT

While significant advances in deep learning has resulted in state-of-the-art performance across a large number of complex visual perception tasks, the widespread deployment of deep neural networks for TinyML applications involving on-device, low-power image recognition remains a big challenge given the complexity of deep neural networks. In this study, we introduce AttendNets, low-precision, highly compact deep neural networks tailored for on-device image recognition. More specifically, AttendNets possess deep self-attention architectures based on visual attention condensers, which extends on the recently introduced stand-alone attention condensers to improve spatial-channel selective attention. Furthermore, AttendNets have unique machine-designed macroarchitecture and microarchitecture designs achieved via a machine-driven design exploration strategy. Experimental results on ImageNet$_{50}$ benchmark dataset for the task of on-device image recognition showed that AttendNets have significantly lower architectural and computational complexity when compared to several deep neural networks in research literature designed for efficiency while achieving highest accuracies (with the smallest AttendNet achieving $\\sim$7.2% higher accuracy, while requiring $\\sim$3$\ imes$ fewer multiply-add operations, $\\sim$4.17$\ imes$ fewer parameters, and $\\sim$16.7$\ imes$ lower weight memory requirements than MobileNet-V1). Based on these promising results, AttendNets illustrate the effectiveness of visual attention condensers as building blocks for enabling various on-device visual perception tasks for TinyML applications.

研究の動機と目的

• 低消費電力のオンデバイスエッジシステムに複雑な深層ニューラルネットワークをデプロイする課題に対処すること。
• エッジデプロイに特化した新しい自己注意メカニズムを導入することで、TinyMLにおける効率性と精度を向上させること。
• マクロおよびマイクロアーキテクチャの最適化を図るため、機械学習駆動の設計探索を活用すること。
• 視覚的注意凝縮器が、既存の効率的アーキテクチャよりも精度と計算効率で優れていることを実証すること。

提案手法

• 視覚的注意凝縮器（VAC）は、空間的・チャネル的活性化をダウンミックス、凝縮、埋め込み、拡張し、選択的注意を強化することで、より優れた特徴表現を実現する自己注意モジュールとして導入される。
• VACアーキテクチャには、チャネル次元を低減するダウンミックス層、強い活性化の近接性に注目する凝縮層、注意マップを再構築する拡張層が含まれる。
• 選択的注意メカニズムは、スケール変調を用いて元の特徴と学習された注意値を融合し、空間的・チャネル的選択的精錬を可能にする。
• AttendNetアーキテクチャは、マシン駆動の設計探索戦略によって生成され、最適なマクロおよびマイクロアーキテクチャ構成を自動的に特定する。
• 低精度量子化が適用され、モデルサイズと計算コストが低減され、リソース制約のあるエッジデバイスへのデプロイが可能になる。
• 注目ベースの特徴精錬と、ポイントワイドグループ畳み込みやチャネルシャッフルなどの効率的演算を統合することで、FLOPsとパラメータ数を削減する。

実験結果

リサーチクエスチョン

• RQ1 視覚的注意凝縮器は、オンデバイス画像認識に向けたコンパクトな深層ニューラルネットワークの精度と効率を顕著に向上させることができるか？
• RQ2 機械学習駆動の設計探索戦略は、小型の注目ベースネットワークのマクロおよびマイクロアーキテクチャをどのように最適化するか？
• RQ3 自己注意メカニズムは、MobileNet-V1 や MobileNet-V2 といった従来の効率的アーキテクチャと比較して、精度と複雑さの面でどの程度優れているか？
• RQ4 空間的・チャネル的選択性と計算効率の観点から、視覚的注意凝縮器は既存の注目メカニズムとどのように比較されるか？

主な発見

• AttendNet-Aは、MobileNet-V1と比較して約8.7%高いトップ1精度を達成した一方で、パラメータ数は約2.35倍少なく、重みメモリは約9.4倍低く、乗算加算演算数は約2.1倍少なかった。
• 最小のAttendNetは、MobileNet-V1と比較して約7.2%高い精度を達成したが、FLOPsは約3倍少なく、パラメータ数は約4.17倍少なく、重みメモリは約16.7倍低かった。
• AttendNet-Aは、AttoNet-Aを約0.2%高いトップ1精度で上回ったが、パラメータ数は約2.1倍少なく、メモリは約8.4倍低く、FLOPsは約1.53倍少なかった。
• 視覚的注意凝縮器と機械学習駆動の設計の統合により、すべての評価指標において精度とモデル複雑さの優れたバランスが実現された。
• AttendNetsは優れた一般化性能と効率性を示し、リアルタイムで低消費電力のエッジ推論タスクに適している。