[論文レビュー] Effective and Fast: A Novel Sequential Single Path Search for Mixed-Precision Quantization

Qigong Sun, Licheng Jiao+4 more|arXiv (Cornell University)|Mar 4, 2021

Advanced Image and Video Retrieval Techniques参考文献 60被引用数 7

ひとこと要約

本稿では、ハードウェア制約の下でネットワーク層全体にわたる最適なビット精度割り当てを、効率的に探索するための、新しい微分可能で逐次的な単一パス探索（SSPS）手法を提案する。選択の確信度に基づき精度を逐次的に決定し、単一パスの勾配最適化探索セルを用いることで、メモリ使用量を削減し収束を加速する。ResNet-18で28 GPU時間未満の計算コストで、CIFAR-10、ImageNet、COCOにおいて最先端の精度を達成した。

ABSTRACT

Since model quantization helps to reduce the model size and computation latency, it has been successfully applied in many applications of mobile phones, embedded devices and smart chips. The mixed-precision quantization model can match different quantization bit-precisions according to the sensitivity of different layers to achieve great performance. However, it is a difficult problem to quickly determine the quantization bit-precision of each layer in deep neural networks according to some constraints (e.g., hardware resources, energy consumption, model size and computation latency). To address this issue, we propose a novel sequential single path search (SSPS) method for mixed-precision quantization,in which the given constraints are introduced into its loss function to guide searching process. A single path search cell is used to combine a fully differentiable supernet, which can be optimized by gradient-based algorithms. Moreover, we sequentially determine the candidate precisions according to the selection certainties to exponentially reduce the search space and speed up the convergence of searching process. Experiments show that our method can efficiently search the mixed-precision models for different architectures (e.g., ResNet-20, 18, 34, 50 and MobileNet-V2) and datasets (e.g., CIFAR-10, ImageNet and COCO) under given constraints, and our experimental results verify that SSPS significantly outperforms their uniform counterparts.

研究の動機と目的

• モデルサイズ、遅延、消費電力などのハードウェア制約の下で、深層ニューラルネットワークにおける混合精度ビット割り当てを効率的に特定する課題に対処すること。
• すべての候補を同時に評価する従来の微分可能NASベースの混合精度探索手法が抱える高いメモリおよび計算コストを低減すること。
• 選択の確信度に基づく逐次的精度選択により、探索空間を指数関数的に削減し、収束を加速するとともに、探索の安定性を向上させること。
• 複数の反復を必要とせず、特定のハードウェア制約（例：平均重み／活性化ビット幅）を直接指向する1回の探索を可能にすること。
• ブロック単位の手法とは異なり、層ごとの混合精度量子化を可能にし、各層に対して細かく精度を調整できること。

提案手法

• 1回のフォワードパスで1つの候補精度のみを評価する、新しい微分可能な単一パス探索セルを導入し、スアップネットベースの手法と比較して大幅にメモリ使用量を削減する。
• ハードウェア制約（例：平均重みおよび活性化ビット幅）を損失関数に直接埋め込むことで、実装可能でデプロイ可能なモデルへの探索をガイドする。
• Gumbel-Softmaxと温度の冷却スケジュールを用いて微分可能アーキテクチャ探索を実現し、精度選択の勾配最適化を可能にする。
• 逐次的意思決定メカニズムを採用：層は選択の確信度の高い順に処理され、最も信頼性の高い選択のみが固定されるため、探索空間が指数関数的に削減される。
• 各探索セルに複数の精度候補（例：2ビットから6ビット）を含む完全に微分可能なスアップネットを活用するが、1回のフォワードパスで1つのみが有効化される。
• 訓練の安定性と収束を向上させるために温度の減少スケジュールを適用し、最適化が完全に終了した後、最終モデルを取得する。

実験結果

リサーチクエスチョン

• RQ1 全スアップネット手法と比較して、逐次的かつ単一パスの探索戦略は、混合精度量子化探索におけるメモリ消費量の低減と収束速度の向上を実現できるか？
• RQ2 損失関数にハードウェア制約を直接埋め込むことで、特定のターゲット制約（例：平均ビット幅）を満たす1回の探索が可能になるか？
• RQ3 同じ制約下で、層単位の精度割り当てはブロック単位の割り当てよりもモデル精度を向上させるか？
• RQ4 選択の確信度に基づく逐次的意思決定は、探索の安定性と収束速度にどのように影響を与えるか？
• RQ5 提案手法は、CIFAR-10、ImageNet、COCOといった多様なデータセットで、探索コストを最小限に抑えつつ最先端の性能を達成できるか？

主な発見

• SSPSはDARTSベースの手法と比較してGPUメモリ使用量を顕著に削減しており、図1(a)では探索中のメモリ消費量が著しく低いことが示されている。
• 本手法はDNASより収束が速く、ImageNet上のResNet-18探索を28 GPU時間未満で完了した（DNASは40 GPU時間）。
• 確信度に基づくプルーニングを伴う逐次的意思決定メカニズムにより、探索空間が指数関数的に削減され、収束の安定性が向上している（図4参照）。
• CIFAR-10、ImageNet、COCOの各データセットにおいて、同じ制約下で均一量子化や最先端のベースラインと比較して、SSPSはより高いトップ-1精度を達成した。
• 本手法は層単位の混合精度量子化をサポートしており、同じブロック内でも各層に異なる精度を割り当てられる（DNAS や BP-NAS などのブロック単位手法とは異なり、より細かい精度調整が可能）。
• アブレーションスタディの結果、意思決定処理（SPSバージョン）を削除すると収束が遅くなり、不安定性が増加することが確認され、逐次的選択の重要性が裏付けられた。