[論文レビュー] Any-Precision Deep Neural Networks

Haichao Yu, Haoxiang Li+3 more|arXiv (Cornell University)|Nov 17, 2019

Advanced Neural Network Applications参考文献 46被引用数 9

ひとこと要約

本論文では、再訓練やキャリブレーションを必要とせずに、1つの事前学習済みモデルが動的に任意のビット幅で推論できる、任意精度の深層ニューラルネットワーク（DNN）というフレームワークを紹介する。複数のビット幅を同時に学習し、知識蒸留を用いることで、視覚タスクにおいて専用の低精度モデルと同等の精度を達成し、実行時の効率と精度の間で柔軟なトレードオフを可能にする。

ABSTRACT

We present any-precision deep neural networks (DNNs), which are trained with a new method that allows the learned DNNs to be flexible in numerical precision during inference. The same model in runtime can be flexibly and directly set to different bit-widths, by truncating the least significant bits, to support dynamic speed and accuracy trade-off. When all layers are set to low-bits, we show that the model achieved accuracy comparable to dedicated models trained at the same precision. This nice property facilitates flexible deployment of deep learning models in real-world applications, where in practice trade-offs between model accuracy and runtime efficiency are often sought. Previous literature presents solutions to train models at each individual fixed efficiency/accuracy trade-off point. But how to produce a model flexible in runtime precision is largely unexplored. When the demand of efficiency/accuracy trade-off varies from time to time or even dynamically changes in runtime, it is infeasible to re-train models accordingly, and the storage budget may forbid keeping multiple models. Our proposed framework achieves this flexibility without performance degradation. More importantly, we demonstrate that this achievement is agnostic to model architectures and applicable to multiple vision tasks. Our code is released at https://github.com/SHI-Labs/Any-Precision-DNNs.

研究の動機と目的

• 実世界のディープラーニングデプロイにおいて、モデルの精度と実行時の効率のバランスをとるという実用的課題に取り組む。
• 異なる精度レベルに対応するための再訓練や複数のモデルの維持を必要とする従来の手法の制限を克服する。
• パフォーマンス劣化を伴わずに、推論時に動的に精度を調整できる1つのモデルを実現する。
• 複数のビット幅にわたる共同学習と知識蒸留により、強固で一般化可能な低精度モデルが得られることを示す。
• アーキテクチャに依存しない柔軟なモデルを実現し、多様な視覚タスクとベンチマークに適用可能である。

提案手法

• バックプロパゲーション中に複数のビット幅（例：1, 2, 4, 8, 32ビット）を同時に学習し、主なトレーニング重みとして共有されたフル精度（FP32）パラメータを使用する。
• 勾配を量子化演算を通過させるために、ストレートスルー推定（STE）を適用し、エンドツーエンド最適化を可能にする。
• 再帰的知識蒸留を用いる：低ビット出力を、近い上位ビット幅のモデルからのソフトラベルで監視することで、低精度領域における一般化性能を向上させる。
• 勾配の一貫性を保つために、更新適合平均（UCA）を用いる。UCAは、異なるビット幅間の勾配のコサイン類似度を測定する。
• 再訓練やキャリブレーションなしに、実行時に重みと活性化の最下位ビットを切り捨てることで、任意のビット幅での推論を可能にする。
• 複数ビット幅にわたる共同最適化により、モデルが精度レベルにかかわらず一貫した表現を学習するようになり、 adversarial 攻撃に対する耐性が向上する。

実験結果

リサーチクエスチョン

• RQ1 再訓練やキャリブレーションを必要とせず、推論時に動的に精度を調整できる1つのDNNを学習することは可能か？
• RQ2 複数のビット幅にわたる共同学習が、特に低ビット領域においてモデルの精度と一般化性能に与える影響は何か？
• RQ3 知識蒸留は、専用モデルと比較して、低ビットの任意精度モデルの性能をどの程度向上させるか？
• RQ4 提案されたフレームワークは、単一精度モデルと比較して、 adversarial 攻撃に対する耐性を維持または向上させるか？
• RQ5 任意精度アプローチは、アーキテクチャの変更なしに、さまざまなアーキテクチャと視覚タスクに一般化可能か？

主な発見

• 任意精度DNNは、CIFAR-10およびImageNetにおいて、同じビット幅で学習された専用モデルと同等またはそれ以上の分類精度を達成した。ResNet-20では、FP32で93.98％のトップ1精度、1ビットで92.15％のトップ1精度（知識蒸留を用いる）を達成した。
• Pascal VOC 2012のセマンティックセグメンテーションでは、提案手法が専用モデルを上回った：1ビットで61.3％のmIoU（平均交差率）、専用1ビットモデルは59.5％。
• 知識蒸留は低ビット性能を顕著に向上させた。ImageNetにおけるResNet-50では、KDを用いることで4ビットで74.75％のトップ1精度を達成したのに対し、KDなしでは74.43％であった。
• 異なるビット幅間の更新適合平均（UCA）は、一貫して高い値（0.9〜1.0）を示しており、トレーニングステップ全体で勾配の一貫性が保たれていることを示している。
• 任意精度モデルはFGSM攻撃に対して優れた耐性を示し、FP32モデルの精度が専用モデルと比較して10％以上向上した。
• このフレームワークはモデルアーキテクチャに依存せず、分類およびセグメンテーションタスクに一般化可能であり、ResNet、DenseNet、ResNet-50を搭載したDeepLabV3を含む多様なタスクに適用可能である。