[論文レビュー] BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain

Tianyu Gu, Brendan Dolan-Gavitt+1 more|arXiv (Cornell University)|Aug 22, 2017

Adversarial Robustness in Machine Learning参考文献 25被引用数 1,002

ひとこと要約

この論文は、バックドア付きニューラルネットワークが外部委託トレーニングまたは転移学習を通じて高い正確性を維持しつつ、攻撃者が選択したトリガーが存在する場合に誤分類を引き起こすよう訓練できることを示している。MNISTと交通標識検出のケーススタディを提供し、防御策と安全な外部委託トレーニングの必要性について論じている。

ABSTRACT

Deep learning-based techniques have achieved state-of-the-art performance on a wide variety of recognition and classification tasks. However, these networks are typically computationally expensive to train, requiring weeks of computation on many GPUs; as a result, many users outsource the training procedure to the cloud or rely on pre-trained models that are then fine-tuned for a specific task. In this paper we show that outsourced training introduces new security risks: an adversary can create a maliciously trained network (a backdoored neural network, or a \emph{BadNet}) that has state-of-the-art performance on the user's training and validation samples, but behaves badly on specific attacker-chosen inputs. We first explore the properties of BadNets in a toy example, by creating a backdoored handwritten digit classifier. Next, we demonstrate backdoors in a more realistic scenario by creating a U.S. street sign classifier that identifies stop signs as speed limits when a special sticker is added to the stop sign; we then show in addition that the backdoor in our US street sign detector can persist even if the network is later retrained for another task and cause a drop in accuracy of {25}\% on average when the backdoor trigger is present. These results demonstrate that backdoors in neural networks are both powerful and---because the behavior of neural networks is difficult to explicate---stealthy. This work provides motivation for further research into techniques for verifying and inspecting neural networks, just as we have developed tools for verifying and debugging software.

研究の動機と目的

• アウトソーシングされたMLトレーニングと転移学習におけるバックドア付きニューラルネットワークの脅威を動機づけ、正式に定式化する。
• MNISTの数字認識と交通標識検出における実用的なバックドア攻撃を実証する。
• クリーン入力とバックドア入力の影響や転移学習における持続性を含む攻撃特性を特徴づける。
• ニューラルネットワークの安全な調達と検証に関する含意を調査する。
• 外部委託トレーニングおよび事前学習済みモデルの安全性確保に向けた洞察と提言を提供する。

提案手法

• 外部委託トレーニングと転移学習の脅威モデルを定義する。
• 事前に指定したアーキテクチャにバックドアを注入するためのトレーニングセット汚染を実装する。
• MNISTと交通標識データセットにわたって、クリーン入力およびバックドア入力に対してバックドア付きモデルを評価する。
• バックドア表現を理解するために学習したフィルターを可視化する。
• 転移学習シナリオ下でのバックドアの持続性を評価する。

実験結果

リサーチクエスチョン

• RQ1 攻撃者はクリーンデータの検証精度を低下させることなく、ニューラルネットワークにバックドアを埋め込むことができるか。
• RQ2 バックドアを持つモデルは、攻撃者が選択したトリガーを含む入力をどれだけ効果的に誤分類できるか。
• RQ3 別のタスクに対して再訓練（転移学習）されるとバックドアは持続するか。
• RQ4 学習済みフィルターにおけるバックドア表現はどのような外観をし、バックドアが交通標識検出などの実世界のビジョンシステムにどのような影響を与えるか。

主な発見

class	Baseline CNN clean	BadNet clean	BadNet backdoor
0	0.10	0.10	0.31
1	0.18	0.26	0.18
2	0.29	0.29	0.78
3	0.50	0.40	0.50
4	0.20	0.40	0.61
5	0.45	0.50	0.67
6	0.84	0.73	0.73
7	0.58	0.39	0.29
8	0.72	0.72	0.61
9	1.19	0.99	0.99
average	0.50	0.48	0.56

• バックドアを持つMNIST分類器は、クリーンな性能をほぼベースラインに近づけつつ、バックドア入力を非常に低い誤差で誤分類する（例：バックドア入力の誤分類率は ≤ 0.09%）。
• 全対全MNIST攻撃では、バックドア画像での誤分類率が>99%を達成する一方で、クリーン画像の誤差はわずかに増加するに留まる（平均クリーン誤差≈0.48% vs 基準≈0.50%）。
• バックドアを持つ交通標識検出器（Faster-RCNN）は、停止標識を制限速度表示として誤分類する成功率がバックドア付き停止標識で>90%を超える一方、クリーン画像の精度は基準モデルと同程度を維持する（平均クリーン精度は約89–90%）。
• 転移学習の下でバックドアは持続する。例えば、米国の交通標識分類器をスウェーデン語標識用に再訓練した場合、バックドア・トリガーが存在する際の平均劣化が約25%を示した。
• 本研究は、直感的な検証によるバックドア検出は難しいと結論づけている；バックドア・トリガー検出はドメイン間で異なる形でエンコードされているようだ（例：MNISTでは専用フィルター、交通標識ではより分散したバックドア表現）。
• 著者らは、サプライチェーンリスクを緩和するための事前学習済みモデルの取得と利用に関するセキュリティ上の考慮事項と推奨を提案している。