[論文レビュー] UDC: Unified DNAS for Compressible TinyML Models

I. A. Fedorov, Ramon Matas+4 more|arXiv (Cornell University)|Jan 15, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

UDCは、神経ネットワークアーキテクチャ、各層の重みビット幅、スパarsityレベルを同時に最適化することで、神経処理ユニット（NPUs）向けに圧縮可能なTinyMLモデルを生成する統合的で微分可能なニューラルアーキテクチャ探索（DNAS）フレームワークを提案する。ハードウェアに配慮した圧縮（量子化とプルーニング）を探索空間に統合することで、ImageNet上での同等精度時で最大3.35倍小さくなるか、同等サイズ時で6.25%高い精度を達成するという最先端の性能を実現した。同時に、厳密なNPUメモリ制約内でのデプロイを保証する。

ABSTRACT

Deploying TinyML models on low-cost IoT hardware is very challenging, due to limited device memory capacity. Neural processing unit (NPU) hardware address the memory challenge by using model compression to exploit weight quantization and sparsity to fit more parameters in the same footprint. However, designing compressible neural networks (NNs) is challenging, as it expands the design space across which we must make balanced trade-offs. This paper demonstrates Unified DNAS for Compressible (UDC) NNs, which explores a large search space to generate state-of-the-art compressible NNs for NPU. ImageNet results show UDC networks are up to $3.35 imes$ smaller (iso-accuracy) or 6.25% more accurate (iso-model size) than previous work.

研究の動機と目的

• 低コストのIoTデバイスの限られたメモリに収まるTinyMLモデルを設計する課題に対処すること。
• ソフトウェアベースのMCUが効率的に活用できない、NPUにおけるハードウェアモデル圧縮（量子化とスパarsity）を完全に活用できること。
• ハードウェアに配慮したNPUメモリ制約を満たすことを保証しながら、ニューラルアーキテクチャ、各層のビット幅、スパarsityレベルを共同で探索すること。
• 過剰正則化を回避し、効率的な重み共有を保証する、微分可能でハードウェアに配慮した探索アルゴリズムを開発すること。
• NPUデプロイに最適な、圧縮可能でデプロイ可能なTinyMLモデルを、精度とモデルサイズのパレート最適性を達成する形で生成すること。

提案手法

• 微分可能で圧縮可能性に配慮した目的関数を用いて、各層の重みスパarsityとビット幅を同時に最適化する、DNASの拡張。
• プルーニングマスクと量子化重みのエントロピー制限圧縮に基づく、新しい微分可能な圧縮可能性の測定法を導入し、勾配ベース最適化を可能にした。
• Gumbel-softmaxに基づく探索を改善し、探索と活用の制御を向上させ、過剰正則化を回避する。
• スパarsityが高く、ビット幅が小さいモデルの最適化が困難であるのを補うために、新しい重み表現とトレーニングアルゴリズムを採用。
• 微分可能なサイズ近似を用いて、圧縮モデルサイズに硬い制約を課し、生成されたすべてのモデルがターゲットNPUメモリ制限内に収まるように保証。
• 実世界のVela NPUコンパイラーを用いて圧縮効果を検証し、マスクと非ゼロ重みにGolomb-Rice符号化とランレングス符号化を適用。

実験結果

リサーチクエスチョン

• RQ1 統合的で微分可能なNASフレームワークは、神経アーキテクチャ、各層のビット幅、スパarsityレベルを同時に最適化し、NPUにデプロイ可能なTinyMLモデルを生成できるか？
• RQ2 過剰正則化や偏ったGumbel-softmax近似に強く影響されず、高い精度と圧縮可能性を維持するには、探索プロセスをどのように強化できるか？
• RQ3 アーキテクチャ、ビット幅、スパarsityの共同探索は、逐次的設計や条件付けに比べて、モデルサイズと精度の面でどの程度優れているか？
• RQ4 提案手法は、手動チューニングなしで生成されたモデルが、ハードウェアに配慮したNPUメモリ制約を満たしていることを保証できるか？
• RQ5 提案された圧縮可能性に配慮した探索は、ランダム探索やアブレーションバージョンと比較して、最終的なモデル性能と探索効率の面でどの程度優れているか？

主な発見

• UDCが生成したモデルは、同等のImageNetトップ-1精度で、先行研究に比べ最大3.35倍小さいサイズを達成し、顕著な圧縮効果を示した。
• 同じモデルサイズの条件下で、UDCモデルはImageNet上での精度が、以前の最先端モデルよりも6.25%高い。
• 理論的な圧縮モデルサイズと、Vela NPUコンパイラーで測定された実際のサイズが非常に近く、差が小数点以下2桁以内に収まった。
• アブレーションスタディの結果、UDCの任意のコンponentを無効化すると、CIFAR100およびImageNetの両方で顕著に性能が低下した。
• システム固有の実行時間では、FBNetおよびFBNetV2に比べ1.4倍速く、正規化された探索コスト（460画像/秒のシステムで3.2 GPUD）において、それらを除くすべての手法を上回った。
• 提案された数値形式とトレーニングアルゴリズムにより、通常は最適化が困難な極めてスパースで低ビット幅のモデルの安定したトレーニングが可能になった。