[論文レビュー] ShiftAddNAS: Hardware-Inspired Search for More Accurate and Efficient Neural Networks

Haoran You, Baopu Li+3 more|arXiv (Cornell University)|May 17, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

ShiftAddNASは、乗算ベースの（例：畳み込み、アテンション）および乗算フリーの演算子（例：ビットシフト、加算）を統合した統合的ハイブリッド探索空間を用いて、精度と効率を同時に最適化する画期的なニューラルアーキテクチャ探索フレームワークを提案する。これにより、畳み込み用にガウス分布、アダー用にラプラス分布をとる異なる重み分布を考慮した異種の重み共有戦略を導入し、スーパーネットのサイズ増加を最小限に抑えつつ、SOTA手法と比較して最大7.7%の精度向上と93%のエネルギー削減を達成できる。

ABSTRACT

Neural networks (NNs) with intensive multiplications (e.g., convolutions and transformers) are capable yet power hungry, impeding their more extensive deployment into resource-constrained devices. As such, multiplication-free networks, which follow a common practice in energy-efficient hardware implementation to parameterize NNs with more efficient operators (e.g., bitwise shifts and additions), have gained growing attention. However, multiplication-free networks usually under-perform their vanilla counterparts in terms of the achieved accuracy. To this end, this work advocates hybrid NNs that consist of both powerful yet costly multiplications and efficient yet less powerful operators for marrying the best of both worlds, and proposes ShiftAddNAS, which can automatically search for more accurate and more efficient NNs. Our ShiftAddNAS highlights two enablers. Specifically, it integrates (1) the first hybrid search space that incorporates both multiplication-based and multiplication-free operators for facilitating the development of both accurate and efficient hybrid NNs; and (2) a novel weight sharing strategy that enables effective weight sharing among different operators that follow heterogeneous distributions (e.g., Gaussian for convolutions vs. Laplacian for add operators) and simultaneously leads to a largely reduced supernet size and much better searched networks. Extensive experiments and ablation studies on various models, datasets, and tasks consistently validate the efficacy of ShiftAddNAS, e.g., achieving up to a +7.7% higher accuracy or a +4.9 better BLEU score compared to state-of-the-art NN, while leading to up to 93% or 69% energy and latency savings, respectively. Codes and pretrained models are available at https://github.com/RICE-EIC/ShiftAddNAS.

研究の動機と目的

• リソース制限のあるエッジデバイスにおけるモデルの精度とハードウェア効率のトレードオフを解消すること。
• 既存のNAS手法が乗算ベースまたは乗算フリーのネットワークのいずれかに限定されているという制限を克服すること。
• 強力な乗算と効率的なシフトアド演算を両立できるハイブリッド探索空間を構築し、パフォーマンスと効率のバランスを取ること。
• 異なる演算子タイプに応じた異種の重み分布（ガウス分布とラプラス分布）を効果的に処理できる重み共有戦略を設計すること。
• コンピュータビジョンおよび自然言語処理の両タスクにおいて、同時に高い精度と低いエネルギー/レイテンシコストを達成するニューラルアーキテクチャの自動探索を可能にすること。

提案手法

• 乗算ベースの演算子（例：標準畳み込み、自己アテンション）と乗算フリーの演算子（例：シフトアドレイヤー）を含む画期的なハイブリッド探索空間を導入し、両者の統合的アーキテクチャ探索を実現する。
• 畳み込み用にガウス分布、アダー用にラプラス分布をとる異なる重み分布を持つ演算子間で効果的なパラメータ共有を可能にする異種の重み共有（HWS）戦略を提案する。これにより、単純な重み共有による性能劣化を回避できる。
• スーパーネット学習中に畳み込み層とアダー層の重み分布を一致させるために知識蒸留損失（KLダイバージェンス）を用い、探索の一貫性を向上させる。
• HWS戦略を適用することで、スーパーネットサイズを41%削減（615Mから364Mパラメータに）し、探索コストを顕著に低減する。
• プログレッシブシュリンクと早期停止を用いた標準的なNASトレーニングパイプラインを活用し、拡張された探索空間を効率的に探索する。
• ImageNetおよびCIFARベンチマーク上でフレームワークを検証し、FBNet や BossNAS といった既存のNASベースラインと統合してアブレーションおよび比較を実施する。

実験結果

リサーチクエスチョン

• RQ1 統合的NASフレームワークは、乗算ベースと乗算フリーの演算子を組み合わせたハイブリッドニューラルアーキテクチャを効果的に探索でき、より優れた精度と効率のトレードオフを達成できるか？
• RQ2 ガウス分布（畳み込み用）とラプラス分布（アダー用）といった根本的に異なる重み分布を持つ演算子間で、性能劣化を伴わずに重み共有を効果的に適用できるか？
• RQ3 提案された異種の重み共有戦略は、スーパーネットサイズと探索コストを低減させつつ、アーキテクチャランクの整合性を維持または向上させられるか？
• RQ4 ハイブリッド探索空間は、純粋に乗算ベースまたは純粋に乗算フリーの探索空間と比較して、精度と効率の面で優れているか？
• RQ5 ShiftAddNASは、コンピュータビジョンおよび自然言語処理の両タスクにおいて、SOTAのNASおよび手作業設計モデルをどの程度上回るか？

主な発見

• 同じFLOPs制約下で、ImageNetにおいて最強のSOTAベースラインと比較して最大7.7%高いトップ-1精度を達成した。
• SOTAモデルと比較して最大93%のエネルギー削減と69%のレイテンシ削減を達成し、強力なハードウェア効率を示した。
• 異種の重み共有（HWS）戦略により、スーパーネットサイズが41%削減（615Mから364Mパラメータに）され、探索コストが顕著に低減した。
• HWSはランク相関（Kendall τ: 0.54 vs. 0.49）を向上させ、ImageNetにおいて単純な重み共有よりも1.4%の精度向上をもたらした。
• CIFAR-10およびCIFAR-100では、それぞれFBNetと比較して+0.74%および+0.58%の精度向上を達成し、レイテンシは33.8%および38.6%削減した。
• アブレーションスタディの結果、アテンション、畳み込み、シフト、アドを含む完全なハイブリッド探索空間がすべての変種を上回り、全演算子タイプの統合の必要性を裏付けた。