[論文レビュー] Sitatapatra: Blocking the Transfer of Adversarial Samples

Ilia Shumailov, Xitong Gao+4 more|arXiv (Cornell University)|Jan 23, 2019

Adversarial Robustness in Machine Learning参考文献 34被引用数 10

ひとこと要約

Sitatapatraは、CNNの敵対的サンプルの転送性を遮断する画期的な防御システムであり、モデルアーキテクチャに秘密の多項式ベースの鍵を埋め込むことで、特定のモデル向けに作成された敵対的サンプルが他の鍵が異なるモデルで失敗することを保証する。この手法は、最小限の実行時オーバーヘッド（0.6–7%）で敵対的サンプルの検出と特定が可能であり、制限されたデバイスへのデプロイも可能である。

ABSTRACT

Convolutional Neural Networks (CNNs) are widely used to solve classification tasks in computer vision. However, they can be tricked into misclassifying specially crafted `adversarial' samples -- and samples built to trick one model often work alarmingly well against other models trained on the same task. In this paper we introduce Sitatapatra, a system designed to block the transfer of adversarial samples. It diversifies neural networks using a key, as in cryptography, and provides a mechanism for detecting attacks. What's more, when adversarial samples are detected they can typically be traced back to the individual device that was used to develop them. The run-time overheads are minimal permitting the use of Sitatapatra on constrained systems.

研究の動機と目的

• 同じアーキテクチャを持つモデル同士で敵対的サンプルが転送されるという、深刻な問題に対処すること。
• エッジデバイスや大規模なマーケット向けアプリケーションに適した、スケーラブルで軽量な防御メカニズムを開発すること。
• 暗号技術にインspiredされた鍵機構を導入し、CNNの多様性を高め、敵対的サンプルの転送性を防止すること。
• 特定のデバイスやモデルが生成した敵対的サンプルを関連付けることで、その検出と特定を可能にすること。
• 推論時の性能劣化を最小限に抑えつつ、最先端の攻撃に対して強い耐性を維持すること。

提案手法

• CNNの畳み込み層に秘密の多項式関数を鍵として埋め込み、活性化関数を変更して鍵依存の非線形性を導入すること。
• 動的チャネル操作と勾配拡散検出器を用い、鍵に応じた活性化範囲を制限し、範囲外に出た際にアラームを発動させること。
• 鍵に依存するしきい値を監視することで、敵対的入力を特定する鍵ベースの検出メカニズムを統合すること。
• 層間にわたる静的および動的鍵のインストルメンテーションを組み合わせ、鍵の多様性とモデルの異質性を高めること。
• バックプロパゲーション中に鍵依存変換を組み込むトレーニング方式を採用し、モデルの正確性を維持しながら耐性を強化すること。
• 鍵構造を活用してトレーラー追跡（traitor tracing）を実現し、敵対的サンプルの活性化パターンの分類によってその生成元デバイスを同定すること。

実験結果

リサーチクエスチョン

• RQ1 同じアーキテクチャを持つ異なるCNNモデル間で、敵対的サンプルの転送を効果的に遮断できる鍵ベースのメカニズムを設計できるか？
• RQ2 顕著な計算オーバーヘッドを伴わずに、埋め込み鍵を用いて敵対的サンプルの検出と特定を実現できるか？
• RQ3 制限されたデプロイ環境において、鍵の多様性、モデルの正確性、実行時効率の間のトレードオフはいかほどか？
• RQ4 Sitatapatraは、FGSM、PGD、Carlini & Wagnerといった最先端の敵対的攻撃に対して、どの程度の防御効果を示すか？
• RQ5 同一モデルの大量デプロイに応用した場合、鍵埋め込みメカニズムのスケーラビリティはどの程度か？

主な発見

• Sitatapatraは、特定の鍵向けに生成された敵対的サンプルが、異なる鍵を持つモデルでは活性化範囲の違反や検出器のトリガーにより転送されないよう、敵対的転送性を低減する。
• 十分に多様な多項式を用いることで、FGSM攻撃では90%、複合攻撃では81–85%の敵対的サンプルの特定率を達成し、効果的なトレーラー追跡を実現している。
• 実行時における計算オーバーヘッドは最小限に抑えられ、0.6%～7%の範囲にとどまるため、リソース制限のあるデバイスへのデプロイに適している。
• 標準ベンチマーク（例：CIFAR-10、SVHN、Tiny ImageNet）において、鍵統合後も高いモデル正確性を維持しており、トップ-1正確度の低下はわずかである。
• 鍵の多様性が極めて重要である：類似した多項式を用いたモデルでは検出性能が低く（約50%の精度）、一方で異なる多項式を用いたモデルでははるかに高い検出正確度を示す。
• ベンダーが異なるデバイスファーム（例：銀行向け vs. マス市場向けデバイス）に固有の鍵を割り当てることで、スケーラブルなモデル強化が可能になる。