[論文レビュー] Constrained deep neural network architecture search for IoT devices accounting hardware calibration

Florian Scheidegger, Luca Benini+2 more|arXiv (Cornell University)|Sep 24, 2019

Advanced Neural Network Applications参考文献 40被引用数 7

ひとこと要約

本論文は、厳密なメモリ制約および推論時間制約下で、IoTデバイス向けに効率的で低遅延なディープラーニングモデルを生成する狭義な空間ニューラルアーキテクチャサーチフレームワークを提案する。大規模モデルからの知識蒸留と、低精度形式（半精度およびカスタム8ビット型）の活用により、35ドルのRaspberry Pi 3上で10ms未満の推論遅延でCIFAR-10で83.45％のトップ1精度を達成し、メモリ制約下で既存のモデルを7ポイント以上上回る性能を発揮した。

ABSTRACT

Deep neural networks achieve outstanding results in challenging image classification tasks. However, the design of network topologies is a complex task and the research community makes a constant effort in discovering top-accuracy topologies, either manually or employing expensive architecture searches. In this work, we propose a unique narrow-space architecture search that focuses on delivering low-cost and fast executing networks that respect strict memory and time requirements typical of Internet-of-Things (IoT) near-sensor computing platforms. Our approach provides solutions with classification latencies below 10ms running on a $35 device with 1GB RAM and 5.6GFLOPS peak performance. The narrow-space search of floating-point models improves the accuracy on CIFAR10 of an established IoT model from 70.64% to 74.87% respecting the same memory constraints. We further improve the accuracy to 82.07% by including 16-bit half types and we obtain the best accuracy of 83.45% by extending the search with model optimized IEEE 754 reduced types. To the best of our knowledge, we are the first that empirically demonstrate on over 3000 trained models that running with reduced precision pushes the Pareto optimal front by a wide margin. Under a given memory constraint, accuracy is improved by over 7% points for half and over 1% points further for running with the best model individual format.

研究の動機と目的

• IoTエッジデバイスに一般的な厳密なメモリおよび遅延制約を満たすディープニューラルネットワークの設計を目的とする。
• モデルサイズや計算コストを増加させることなく、低リソースIoTプラットフォームのモデル精度を向上させることを目的とする。
• 低精度算術（半精度、8ビット型）がモデル精度と効率性のトレードオフに与える影響を体系的に評価することを目的とする。
• 新しいハードウェアやネットワークパターンに適応可能なモジュラーかつスケーラブルなアーキテクチャサーチパイプラインの開発を目的とする。
• 低精度を活用することで、モデル精度と効率性のトレードオフのパレート最適フロントがどのようにシフトするかを実証的に示すこと

提案手法

• 大規模なリファレンスマデルから導出された基本的な探索空間に対して、制限付きサンプリング則を適用することで、小規模で効率的なアーキテクチャの族を生成する狭義な空間アーキテクチャサーチを実施する。
• 知識蒸留を用いて、大規模リファレンスマデルから小規模な候補アーキテクチャへ知識を転送することで、完全な再トレーニングなしで高い精度を実現する。
• 探索空間を制約することで、生成されたすべてのモデルがユーザーが定義したメモリ予算に収まり、遅延要件を満たすことを保証する。
• 半精度（FP16）およびカスタム8ビット型を含む低精度形式を、3,000を超えるモデルに対して体系的に評価し、各層に最適な精度形式を同定する。
• 均一に探索空間を探索する自動探索アルゴリズムを用い、比較および検証のための手動サンプリング則も併用する。
• 最終的なモデルはCIFAR-10でトレーニングおよび評価され、推論遅延はRaspberry Pi 3(B+)で測定され、実世界のパフォーマンスを検証する。

実験結果

リサーチクエスチョン

• RQ1 狭義な空間アーキテクチャサーチは、IoTデバイスの厳密なメモリおよび遅延制約を満たしつつ、高い精度を達成するモデルを生成できるか？
• RQ2 低精度算術（FP16、8ビット型）の使用は、小規模ニューラルネットワークにおける精度と効率性のトレードオフにどのように影響するか？
• RQ3 大規模リファレンスマデルからの知識蒸留は、完全な再トレーニングなしで、小規模で制約のあるモデルの精度をどの程度向上できるか？
• RQ4 フルプレシジョンではなく低精度推論を用いる場合、モデル精度とサイズのパレート最適フロントは顕著にシフトするか？
• RQ5 提案された探索フレームワークは、複数のデータセットおよび複数のハードウェア制約にスケーラブルに適用可能であり、高い効率性と精度を維持できるか？

主な発見

• 狭義な空間アーキテクチャサーチを用いることで、同じメモリ制約下で、ベースラインIoTモデルの70.64％（トップ1精度）から74.87％へCIFAR-10の精度が向上した。
• 16ビットの半精度（FP16）を用いることで、同じメモリ制約下で精度が82.07％に向上し、フルプレシジョンモデルよりも顕著な改善が確認された。
• 各モデルが個別に最適化された低精度形式（例：8ビット型）を用いることで、精度は83.45％に達し、このモデルサイズおよび制約下で報告された最高の精度となった。
• 半精度を用いることでパレート最適フロントが7ポイント以上前進し、さらにモデル固有の低精度形式を用いることで1％の追加向上が達成された。
• Raspberry Pi 3(B+)（1GB RAM、5.6 GFLOPSのピーク性能、35ドル）上で推論遅延は常に10ms未満であり、リアルタイム実行の可能性が裏付けられた。
• 本手法は13のデータセットおよび3つの遅延制約（10³、10⁴、10⁵）にわたり、各制約下で高い精度を達成する最良のモデルを効果的にスケーリング可能であった。