[論文レビュー] Mixed-Precision Neural Networks: A Survey

Mariam Rakka, Mohammed E. Fouda+2 more|arXiv (Cornell University)|Aug 11, 2022

Advanced Neural Network Applications被引用数 15

ひとこと要約

本サーベイは、混合精度ニューラルネットワーク（MXPDNNs）の包括的な分析を提供し、精度とハードウェア効率のバランスを取るために層間のビット幅割り当てを最適化する量子化技術およびフレームワークをレビューする。強化学習、決定論的丸め、ハイブリッド手法を評価し、トレードオフを強調し、将来のハードウェアに配慮した、実行時で再設定可能な、精度を保持するMXPDNNフレームワークの設計指針を提示する。

ABSTRACT

Mixed-precision Deep Neural Networks achieve the energy efficiency and throughput needed for hardware deployment, particularly when the resources are limited, without sacrificing accuracy. However, the optimal per-layer bit precision that preserves accuracy is not easily found, especially with the abundance of models, datasets, and quantization techniques that creates an enormous search space. In order to tackle this difficulty, a body of literature has emerged recently, and several frameworks that achieved promising accuracy results have been proposed. In this paper, we start by summarizing the quantization techniques used generally in literature. Then, we present a thorough survey of the mixed-precision frameworks, categorized according to their optimization techniques such as reinforcement learning and quantization techniques like deterministic rounding. Furthermore, the advantages and shortcomings of each framework are discussed, where we present a juxtaposition. We finally give guidelines for future mixed-precision frameworks.

研究の動機と目的

• 深層ニューラルネットワーク内の層間におけるビット幅割り当てを最適化する混合精度フレームワークを体系的にサーベイすること。
• 混合精度量子化におけるモデルの精度、計算効率、ハードウェア制約の間のトレードオフを分析すること。
• 強化学習、決定論的丸め、および統合的プルーニング・量子化を含む、既存の最適化技術の長所と短所を評価すること。
• ハードウェアに配慮した、実行時で再設定可能な、精度に頑健な将来の混合精度フレームワークの設計に役立つ実行可能な指針を提供すること。
• 検索空間の複雑さ、動的リソースへの適応、プライバシーに配慮したシステム（医療アプリケーションなど）へのデプロイといった、未解決の課題を特定すること。

提案手法

• 強化学習、微分可能探索、決定論的丸めに基づく最適化技術によって混合精度フレームワークを分類すること。
• トレーニング後の量子化、再訓練に基づく量子化、非一様量子化器を含む量子化手法をサーベイし、低精度制約下での精度保持を検討すること。
• 層ごと、チャネルごと、パラメータごとのビット幅割り当て戦略を分析し、細かさと効率性のトレードオフを評価すること。
• 学習可能なゲートとマグニチュードベースのしきい値を用いた、APQ、OPQ、Bayesian Bitsのようなハイブリッドフレームワークを評価し、量子化とプルーニングを同時に最適化すること。
• ImageNet、CIFAR-10などのデータセットと、AlexNet、ResNet-18、ResNet-20などのモデルを用いてベンチマークを実施し、MXPDNNとBNNのトップ1精度を比較すること。
• ハードウェアに配慮した設計、実行時での適応性、モデル圧縮と精度のバランスを重視するフレームワーク設計の分類法を提案すること。

実験結果

リサーチクエスチョン

• RQ1 強化学習や決定論的丸めといった異なる最適化技術は、混合精度DNNの精度と効率性にどのように影響を与えるか？
• RQ2 標準ベンチマークにおいて、固定精度フレームワークと混合精度フレームワークの間のトップ1精度とエネルギー効率のギャップはどの程度か？
• RQ3 量子化とプルーニングを統合する戦略は、精度を損なわずにどの程度モデル圧縮を改善できるか？
• RQ4 混合精度フレームワークを実行時における動的ハードウェアリソース制約に適応可能にするにはどうすればよいか？
• RQ5 精度、効率性、ハードウェア互換性をバランスさせる将来の混合精度フレームワークの主要な設計原則は何か？

主な発見

• SLWP や TSQ といった混合精度フレームワークは、BNN よりも高いトップ1精度を達成しており、TSQ は AlexNet に対して ImageNet で 58.0% の精度を達成したのに対し、SLWP は 52.54% であった。
• ResNet-18 において、DQ フレームワークは混合精度設定で 70.66% のトップ1精度を達成し、BNN ベースラインの CBCN の 61.4% を上回った。
• CIFAR-10 における ResNet-20 では、MXPDNN である DQ が 92.6% のトップ1精度を達成し、BNN の BBG の 92.5% に非常に近い結果を示しており、混合精度による精度損失は最小限であった。
• Bayesian Bits における学習可能なゲートの使用により、パラメータごとのビット幅を動的に調整でき、低ビット幅チャネルの無効化によるプルーニングが可能になった。
• OPQ は、ラグランジュ乗数とニュートン・ラプソン法を用いて、プルーニング比を最適化問題として定式化し、ワンショットでプルーニングと量子化を実行する。
• 層ごとのビット幅組み合わせの指数的増加する検索空間は、手動またはブルートフォースによる割り当てが非現実的であるため、自動的または学習ベースの割り当て戦略の導入が不可欠である。