[論文レビュー] Regula Sub-rosa: Latent Backdoor Attacks on Deep Neural Networks

Yuanshun Yao, Huiying Li+2 more|arXiv (Cornell University)|May 24, 2019

Adversarial Robustness in Machine Learning参考文献 46被引用数 7

ひとこと要約

本論文は、VGG16などの事前学習済み「教師」モデルに隠れたバックドアを埋め込む、画期的な方法を紹介する。このバックドアは、新しいターゲットクラス（例：イーロン・マスク）を追加する転移学習の際のみ活性化され、通常の評価では検出されない。攻撃は、教師モデルから導出されるすべての学生モデルに伝搬され、顔認識、交通標識、虹彩認識の実世界タスクにおいて高い成功率を達成するが、唯一の有効な防御策はマルチレイヤー微調整であり、その代償として精度が低下する。

ABSTRACT

Recent work has proposed the concept of backdoor attacks on deep neural networks (DNNs), where misbehaviors are hidden inside "normal" models, only to be triggered by very specific inputs. In practice, however, these attacks are difficult to perform and highly constrained by sharing of models through transfer learning. Adversaries have a small window during which they must compromise the student model before it is deployed. In this paper, we describe a significantly more powerful variant of the backdoor attack, latent backdoors, where hidden rules can be embedded in a single "Teacher" model, and automatically inherited by all "Student" models through the transfer learning process. We show that latent backdoors can be quite effective in a variety of application contexts, and validate its practicality through real-world attacks against traffic sign recognition, iris identification of lab volunteers, and facial recognition of public figures (politicians). Finally, we evaluate 4 potential defenses, and find that only one is effective in disrupting latent backdoors, but might incur a cost in classification accuracy as tradeoff.

研究の動機と目的

• セキュリティが重要な応用分野における深層ニューラルネットワーク（DNN）におけるバックドア攻撃の増加リスクに対処すること。
• 転移学習における主要な脆弱性を特定すること。ここでは、共有の教師モデルにバックドアを埋め込み、微調整プロセスを経ても生存する。
• この新しい攻撃ベクトルに対して、従来のバックドア検出手法が、その巧妙さと潜在的性質ゆえに効果を発揮しないことの証明。
• 防御策の評価を行い、モデルの有用性を損なわずに隠れたバックドアを効果的に遮断できるものを同定すること。

提案手法

• 標準的な精度に影響を与えないように、巧妙に設計された損失関数を用いて、存在しない出力クラス（例：「イーロン・マスク」）に潜在的なトリガーを埋め込む。
• 転移学習パイプラインを活用：学生モデルがターゲットクラス（例：マスク）の認識に微調整される際、潜在的なトリガーが活性化され、トリガーパターンに一致する入力を誤分類する。
• ターゲットクラスとは無関係で、人間が認識できないトリガーパターンを用い、教師モデルの評価時にも検出されないようにする。
• トリガーが教師モデル内の既存のどのクラスとも関連付けられていないため、標準的な入力ベースのテストでは見えないことを活用する。
• 実世界のデータを用いた評価を実施：実際の交通標識の写真、スマートフォンで撮影した虹彩画像、Google画像検索から入手した有名人の画像。
• 4つの防御策を評価：入力異常検出、再訓練、入力前処理、マルチレイヤー微調整。唯一効果的だったものを同定。

実験結果

リサーチクエスチョン

• RQ1 共有の教師モデルに、検出不能かつ転移学習プロセスを経ても生存するバックドアを埋め込むことは可能か？
• RQ2 顔認識、交通標識検出、虹彩認識といった実世界の応用分野において、隠れたバックドアはどの程度効果的か？
• RQ3 なぜ従来のバックドア検出手法は、隠れたバックドア攻撃に対して効果を発揮しないのか？
• RQ4 どの防御機構が隠れたバックドアを効果的に遮断できるのか？また、それらはモデルの精度にどのような妥協を伴うのか？

主な発見

• 公開済みの政治家に関する画像を用いた実世界の顔認識タスクにおいて、隠れたバックドア攻撃は90％を超える高い成功率を達成した。
• 実際の標識の写真を用いた交通標識認識タスクでも効果的であり、実世界の制約下での実用可能性を示した。
• スマートフォンで撮影した画像を用いた虹彩認識攻撃では、85％を超える成功率を達成し、低品質な入力データでも効果を発揮することを示した。
• 唯一、転移学習中のマルチレイヤー微調整が、隠れたバックドアを遮断するのに有効であったが、クリーンな入力に対する分類精度に顕著な低下を引き起こした。
• 入力異常検出、再訓練、入力前処理といった従来の防御策は、その巧妙で潜在的な性質ゆえに、隠れたバックドアを検出または遮断できなかった。
• トリガーが既存の出力クラスに関連付けられていないため、教師モデルでは検出不能であり、標準的なテストでは見えないままだった。