[論文レビュー] DeepTrust^RT: Confidential Deep Neural Inference Meets Real-Time!

Babar, Mohammad Fakhruddin, Hasan, Monowar|arXiv (Cornell University)|Jan 1, 2024

Advanced Neural Network Applications被引用数 754

ひとこと要約

この論文では、スパarsity化、トレーニング済み量子化、ハフマン符号化を組み合わせた3段階のパイプラインであるDeep Compressionを提案する。この手法により、精度を損なわずに深層ニューラルネットワークを圧縮できる。AlexNetのストレージを240MBから6.9MB（35倍）に、VGG-16を552MBから11.3MB（49倍）に圧縮し、オンチップSRAMキャッシュが可能となり、CPU、GPU、モバイルGPUプラットフォームで3倍〜7倍のエネルギー効率向上を達成した。

ABSTRACT

Deep Neural Networks (DNNs) are becoming common in "learning-enabled" time-critical applications such as autonomous driving and robotics. One approach to protect DNN inference from adversarial actions and preserve model privacy/confidentiality is to execute them within trusted enclaves available in modern processors. However, running DNN inference inside limited-capacity enclaves while ensuring timing guarantees is challenging due to (a) large size of DNN workloads and (b) extra switching between "normal" and "trusted" execution modes. This paper introduces new time-aware scheduling schemes - DeepTrust^RT - to securely execute deep neural inferences for learning-enabled real-time systems. We first propose a variant of EDF (called DeepTrust^RT-LW) that slices each DNN layer and runs them sequentially in the enclave. However, due to extra context switch overheads of individual layer slices, we further introduce a novel layer fusion technique (named DeepTrust^RT-FUSION). Our proposed scheme provides hard real-time guarantees by fusing multiple layers of DNN workload from multiple tasks; thus allowing them to fit and run concurrently within the enclaves while maintaining real-time guarantees. We implemented and tested DeepTrust^RT ideas on the Raspberry Pi platform running OP-TEE+DarkNet-TZ DNN APIs and three DNN workloads (AlexNet-squeezed, Tiny Darknet, YOLOv3-tiny). Compared to the layer-wise partitioning approach (DeepTrust^RT-LW), DeepTrust^RT-FUSION can schedule up to 3x more tasksets and reduce context switches by up to 11.12x. We further demonstrate the efficacy of DeepTrust^RT using a flight controller (ArduPilot) case study and find that DeepTrust^RT-FUSION retains real-time guarantees where DeepTrust^RT-LW becomes unschedulable.

研究の動機と目的

• ストレージとエネルギーが限られたモバイルおよび組み込みシステムに、大規模で高精度な深層ニューラルネットワークを実装する課題に対処する。
• 深層ニューラルネットワークのストレージ容量を、オンチップSRAMに収めるように小さくし、高コストなオフチップDRAMアクセスを回避する。
• メモリ帯域幅の使用量を減らすことでエネルギー消費を最小限に抑え、モバイルシステムにおけるエネルギー消費の大部分を占める部分を低減する。
• バイナリサイズと帯域幅に制限のあるモバイルアプリに、複雑なモデルの実用的導入を可能にする。
• 構造的かつトレーニング可能な圧縮パイプラインを用いて、精度を損なわず過酷な圧縮を実現する。

提案手法

• 重要度に基づくスパarsity化を適用し、低重み接続を削除することで、パラメータを9倍〜13倍に削減しながらも精度を維持する。
• トレーニング済み量子化を適用：重みをクラスタ（例：全結合層では32の重心）にグループ化し、重心とインデックスのみを保存し、精度回復のための微調整を実施する。
• 圧縮されたインデックスと重心に対してハフマン符号化を適用し、さらにストレージを削減し、合計で35倍〜49倍の圧縮を達成する。
• スパース重み行列を、相対的インデックス符号化を用いた圧縮スパース行（CSR）または圧縮スパース列（CSC）形式で表現することで、メタデータのオーバーヘッドを低減する。
• コードブック（共有重み値）、インデックス（クラスタ割り当て）、圧縮されたメタデータのみを保存し、ストレージの肥大化を最小限に抑える。
• スパarsity化と量子化の後に再トレーニングを実施し、残りの重みと重心を微調整することで、精度の低下を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 スパarsity化、量子化、符号化の組み合わせにより、深層ニューラルネットワークを35倍〜49倍に圧縮しても精度を損なわないか？
• RQ2 スパarsity化と量子化を統合的なパイプラインで適用することで、逐次的適用よりも高い圧縮比が得られるか？
• RQ3 圧縮されたモデルがオンチップSRAMに完全に収容可能で、エネルギー集中的なDRAM依存を減らせるか？
• RQ4 CPU、GPU、モバイルGPUプラットフォームにおける推論速度とエネルギー効率に、圧縮が及ぼす影響は何か？
• RQ5 この手法は、AlexNet、VGG-16、LeNetといった異なるアーキテクチャに一般化可能で、精度の低下なしに適用可能か？

主な発見

• Deep Compressionにより、ImageNetでの精度を損なわず、AlexNetのモデルサイズが240MBから6.9MB（35倍圧縮）に削減された。
• VGG-16は552MBから11.3MB（49倍圧縮）に圧縮され、精度の低下もなかった。
• LeNetは39倍に圧縮され、精度に損なわれることなく、アーキテクチャ間での一般化が示された。
• 圧縮モデルでは、CPU、GPU、モバイルGPUプラットフォームでレイヤごとに3倍〜4倍の高速化と、3倍〜7倍のエネルギー効率向上が達成された。
• 最終的なモデルはオンチップSRAMに完全に収容可能（1アクセスあたり5pJ）であり、オフチップDRAMアクセス（1アクセスあたり640pJ）を回避し、エネルギー消費を大幅に削減した。
• 従来手法に比べ、圧縮比と精度保持の両面で優れており、スパarsity化と量子化のみで27倍〜31倍の圧縮が達成され、ハフマン符号化を追加することで35倍〜49倍の圧縮が実現した。