[論文レビュー] Quantization Backdoors to Deep Learning Commercial Frameworks

Hua Ma, Huming Qiu+8 more|arXiv (Cornell University)|Aug 20, 2021

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

この論文は、TensorFlow Lite や PyTorch Mobile などの商用ディープラーニング量子化フレームワークを悪用し、トレーニング後の量子化後にのみ起動する隠れ背後要因（バックドア）を実装する、新たなバックドア攻撃（PQバックドア）を明らかにした。攻撃は、通常の検査では検出されないまま、完全精度（float-32）モデルに不活性なバックドアを埋め込むが、量子化後の int-8 モデルではほぼ 100% の攻撃成功率を達成する。これは、デバイス内での AI デプロイメントパイプラインにおける深刻なセキュリティリスクを示している。

ABSTRACT

Currently, there is a burgeoning demand for deploying deep learning (DL) models on ubiquitous edge Internet of Things (IoT) devices attributed to their low latency and high privacy preservation. However, DL models are often large in size and require large-scale computation, which prevents them from being placed directly onto IoT devices, where resources are constrained and 32-bit floating-point (float-32) operations are unavailable. Commercial framework (i.e., a set of toolkits) empowered model quantization is a pragmatic solution that enables DL deployment on mobile devices and embedded systems by effortlessly post-quantizing a large high-precision model (e.g., float-32) into a small low-precision model (e.g., int-8) while retaining the model inference accuracy. However, their usability might be threatened by security vulnerabilities. This work reveals that the standard quantization toolkits can be abused to activate a backdoor. We demonstrate that a full-precision backdoored model which does not have any backdoor effect in the presence of a trigger -- as the backdoor is dormant -- can be activated by the default i) TensorFlow-Lite (TFLite) quantization, the only product-ready quantization framework to date, and ii) the beta released PyTorch Mobile framework. When each of the float-32 models is converted into an int-8 format model through the standard TFLite or Pytorch Mobile framework's post-training quantization, the backdoor is activated in the quantized model, which shows a stable attack success rate close to 100% upon inputs with the trigger, while it behaves normally upon non-trigger inputs. This work highlights that a stealthy security threat occurs when an end user utilizes the on-device post-training model quantization frameworks, informing security researchers of cross-platform overhaul of DL models post quantization even if these models pass front-end backdoor inspections.

研究の動機と目的

• トレーニング後の量子化後にのみ起動する、商用ディープラーニング量子化フレームワークに潜む、これまで未知のセキュリティ脆弱性を明らかにすること。
• バックドアが完全精度（float-32）モデルでは不活性で検出不能であるが、標準的なトレーニング後の量子化を経て、完全に活性化されることを実証すること。
• 既存のバックドア検出防御策が、この新たな脅威に対して、完全精度段階でバックドアを検出できないことを評価し、その失敗を示すこと。
• 量子化の前段階で完全精度モデルにガウスノイズを注入する、軽量で使いやすい予防的防御策を提案・検証すること。
• 商用量子化ツールキットを介したデバイス内デプロイメントにおけるリスクを強調すること。特に、フロントエンドのセキュリティチェックに合格したモデルであっても、危険が潜むこと。

提案手法

• 攻撃は、クリーンな入力やトリガー入力に対してもモデルの挙動を変化させないため、悪意ある挙動が検出されない完全精度のバックドア付きモデル（M_bd）を構築する。
• バックドアは、TFLite や PyTorch Mobile を介したトレーニング後の量子化プロセス中にのみ活性化され、float-32 モデルが int-8 モデルに変換される段階で発動する。
• 攻撃は、特に重みの丸めと動的範囲量子化といった、量子化固有の挙動を悪用しており、量子化過程での微小な重み変更が、低精度モデルにおけるバックドア効果を拡大させる。
• 研究者は、3つの標準アーキテクチャ（VGG16、ResNet18、ResNet50）と3つのデータセット（MNIST、CIFAR10、GTSRB）を用いて、多様なモデルおよびデータ構成における攻撃の有効性を検証した。
• 予防的防御策として、量子化の前段階で完全精度モデルの重みに小さなガウスノイズを注入する手法を提案。この手法は、クリーンな精度に影響を与えることなく、量子化後のモデルにおけるバックドアを無効化する。
• ノイズ防御の有効性は、さまざまなノイズ振幅における攻撃成功率（ASR）とクリーンデータ精度（CDA）の測定を通じて評価され、ASRに二段階の低下が観察された。

実験結果

リサーチクエスチョン

• RQ1 完全精度のディープラーニングモデルにバックドアを埋め込むことは可能か？ そのバックドアは、標準的な検査段階では検出されないが、トレーニング後の量子化後にのみ活性化されるか？
• RQ2 既存のバックドア検出防御策は、完全精度モデル段階でこのようなバックドアを同定できない程度にどれほど失敗するか？
• RQ3 標準的な商用量子化フレームワーク（TFLite や PyTorch Mobile）下で、PQバックドアは異なるモデルアーキテクチャやデータセットにおいてどの程度有効か？
• RQ4 トレーニングを伴わない軽量な防御策は、量子化後のモデルにおけるバックドア活性化を効果的に防げるか？
• RQ5 ガウスノイズ注入が、クリーン性能に悪影響を与えずに、なぜ量子化後のモデルでバックドアを無効化できるのか、そのメカニズムは何か？

主な発見

• PQバックドアは、トリガーが発動した場合、量子化後の int-8 モデルでほぼ 100% の攻撃成功率（ASR）を達成するが、完全精度モデルでは検出可能なバックドア挙動を示さない。
• 4つの最先端のバックドア検出防御策が、完全精度モデル段階でバックドアを同定できなかった。これは、前段階での検査においてもバックドアが完全に隠蔽されていることを確認する。
• 攻撃は、複数のモデルアーキテクチャ（VGG16、ResNet18、ResNet50）とデータセット（MNIST、CIFAR10、GTSRB）で有効であることが確認され、広範な適用可能性を示した。
• 攻撃は、TFLite および beta バージョンの PyTorch Mobile フレームワークを通じて、量子化の過程でのみ活性化される。これは、商用ツールキットにおけるクロスプラットフォームな脆弱性を示している。
• 完全精度モデルに量子化の前段階でガウスノイズを注入すると、量子化後のモデルにおける ASR が低下し、二段階の効果が観察された：初期段階での抑制、その後の部分的回復、そして高ノイズレベルでの再びの抑制。
• ノイズ防御は有効であり、軽量で再トレーニングを必要としないため、PQバックドアに対する実用的な予防策として適している。