[論文レビュー] Quantization Backdoors to Deep Learning Models.

Hua Ma, Huming Qiu+6 more|arXiv (Cornell University)|Aug 20, 2021

Adversarial Robustness in Machine Learning参考文献 44被引用数 8

ひとこと要約

本稿は、TensorFlow Lite を用いた標準的なポストトレーニング量子化が、事前に不活性化されたフルプレシジョンの深層学習モデルにバックドアを活性化させることを明らかにした。量子化後に int-8 に変換された後、トリガー入力に対して100%の攻撃成功率を示す一方で、Neural Cleanse や STRIP のようなフ론トエンド検出ツールでは検出されない。これは、デバイス内でのモデル量子化パイプラインにおける深刻なセキュリティリスクを露呈するものである。

ABSTRACT

There is currently a burgeoning demand for deploying deep learning (DL) models on ubiquitous edge Internet of Things devices attributing to their low latency and high privacy preservation. However, DL models are often large in size and require large-scale computation, which prevents them from being placed directly onto IoT devices where resources are constrained and 32-bit floating-point operations are unavailable. Model quantization is a pragmatic solution, which enables DL deployment on mobile devices and embedded systems by effortlessly post-quantizing a large high-precision model into a small low-precision model while retaining the model inference accuracy. This work reveals that the standard quantization operation can be abused to activate a backdoor. We demonstrate that a full-precision backdoored model that does not have any backdoor effect in the presence of a trigger -- as the backdoor is dormant -- can be activated by the default TensorFlow-Lite quantization, the only product-ready quantization framework to date. We ascertain that all trained float-32 backdoored models exhibit no backdoor effect even in the presence of trigger inputs. State-of-the-art frontend detection approaches, such as Neural Cleanse and STRIP, fail to identify the backdoor in the float-32 models. When each of the float-32 models is converted into an int-8 format model through the standard TFLite post-training quantization, the backdoor is activated in the quantized model, which shows a stable attack success rate close to 100% upon inputs with the trigger, while behaves normally upon non-trigger inputs. This work highlights that a stealthy security threat occurs when end users utilize the on-device post-training model quantization toolkits, informing security researchers of cross-platform overhaul of DL models post quantization even if they pass frontend inspections.

研究の動機と目的

• 標準的なポストトレーニング量子化が、フルプレシジョンの深層学習モデルに埋め込まれた潜在的バックドアを意図せず活性化するかどうかを調査すること。
• Neural Cleanse や STRIP といった既存のフロントエンドバックドア検出手法が、隠れたバックドアを内蔵した float-32 モデルに対してどれほど効果的であるかを評価すること。
• TensorFlow Lite のような量子化フレームワークが、不活性化されたバックドアを活性化させる攻撃ベクトルとして機能することを示すこと。
• エンドツーエンドの信頼が確保されていないモデルパイプラインに依存するオンデバイス量子化ツールキットのセキュリティ的影響を強調すること。

提案手法

• クリーンな入力に対して推論を行う際もバックドアが不活性化されたままとなるように、バックドアを埋め込んだフルプレシジョン（float-32）の深層学習モデルを訓練する。
• 再訓練を伴わずに、標準的な TensorFlow Lite のポストトレーニング量子化を適用し、float-32 モデルを int-8 モデルに変換する。
• 量子化後のモデルの、トリガー入力および非トリガー入力に対する挙動を評価し、バックドアの活性化を検出する。
• 量子化の前段階で、最先端のバックドア検出手法（Neural Cleanse および STRIP）が元の float-32 モデルに対してどれほど効果的であるかをテストする。
• 複数のデータセットおよびモデルアーキテクチャを対象に、クリーン入力およびトリガー入力における攻撃成功率とモデル精度を測定する。
• 数値変換のプロセスを分析し、バックドアの活性化を可能にする要因を同定する。

実験結果

リサーチクエスチョン

• RQ1 TensorFlow Lite のような標準的なポストトレーニング量子化フレームワークは、事前に不活性化されたバックドアをフルプレシジョンの深層学習モデルで活性化できるか？
• RQ2 Neural Cleanse や STRIP のような既存のフロントエンドバックドア検出手法は、量子化後に活性化される float-32 モデル内のバックドアを正しく同定できるか？
• RQ3 TFLite を用いて float-32 モデルを int-8 に量子化した後、バックドアの攻撃成功率はどの程度になるか？また、トリガー入力と非トリガー入力でどのように変化するか？
• RQ4 標準的な量子化手順が、モデルパイプラインにおけるバックドア検出の整合性を維持できないのはなぜか？
• RQ5 量子化プロセス自体が、もともと非活性化されていたバックドアを有効化することで、新たな攻撃表面を生み出す程度はどの程度か？

主な発見

• すべての float-32 バックドア付きモデルは、推論時においてもトリガー入力が与えられてもバックドアの兆候を示さず、バックドアが不活性化されたままであった。
• TensorFlow Lite を用いたポストトレーニング量子化により、int-8 に変換された後、バックドアが正常に活性化され、トリガー入力に対して安定した攻撃成功率がほぼ100%に達した。
• 量子化後のモデルは非トリガー入力に対して通常の精度を維持しており、量子化後の攻撃が極めて巧妙であることが確認された。
• 最先端の検出手法、Neural Cleanse や STRIP ですら、元の float-32 モデルにおいてバックドアを検出できなかった。これは、他のバックドアバリアントに対しては有効であることが知られているにもかかわらずである。
• 結果として、量子化プロセス自体が潜在的バックドアをトリガーする要因となり、オンデバイスでのモデルデプロイメントパイプラインに深刻なセキュリティギャップを生じることを示した。
• 本研究は、信頼できる量子化ツールキットに依存することで、検出不能なバックドアの活性化が生じる、以前に知られていなかった攻撃表面を明らかにした。