[論文レビュー] VerIDeep: Verifying Integrity of Deep Neural Networks through Sensitive-Sample Fingerprinting

Zecheng He, Tianwei Zhang+1 more|arXiv (Cornell University)|Aug 9, 2018

Adversarial Robustness in Machine Learning参考文献 43被引用数 13

ひとこと要約

VerIDeepは、Sensitivity-Sampleの指紋——重みの変更に非常に敏感な出力をもたらす最小限で変換された入力——を用いることで、信頼できないクラウド環境における深層ニューラルネットワーク（DNN）の整合性を、低コストでブラックボックス方式で検証する手法を提案する。わずか10回未満のモデルクエリで、さまざまな整合性攻撃に対して99％を超える検出精度を達成し、モデル重みにアクセスできない顧客がモデルの整合性を検証可能である。

ABSTRACT

Deep learning has become popular, and numerous cloud-based services are provided to help customers develop and deploy deep learning applications. Meanwhile, various attack techniques have also been discovered to stealthily compromise the model's integrity. When a cloud customer deploys a deep learning model in the cloud and serves it to end-users, it is important for him to be able to verify that the deployed model has not been tampered with, and the model's integrity is protected. We propose a new low-cost and self-served methodology for customers to verify that the model deployed in the cloud is intact, while having only black-box access (e.g., via APIs) to the deployed model. Customers can detect arbitrary changes to their deep learning models. Specifically, we define exttt{Sensitive-Sample} fingerprints, which are a small set of transformed inputs that make the model outputs sensitive to the model's parameters. Even small weight changes can be clearly reflected in the model outputs, and observed by the customer. Our experiments on different types of model integrity attacks show that we can detect model integrity breaches with high accuracy ($>$99\%) and low overhead ($

研究の動機と目的

• 信頼できないクラウド環境に配置された際の深層ニューラルネットワーク（DNN）の整合性を検証するという、深刻なセキュリティ課題に対処すること。
• ブラックボックスAPIアクセスのみを用いて、バックドアの挿入や重みの改ざんといった任意のモデル整合性侵害を検出できるようにすること。
• モデル重みや信頼できるハードウェアに依存しない、自己完結的で低コストの検証メカニズムを開発すること。
• 検出精度を高く保ちつつ、モデルクエリの回数を最小限に抑え、誤検出を回避すること。

提案手法

• 本手法は、モデル重みの変更に対して出力の感度を高める小さな入力変換の集合、すなわちSensitivity-Samplesを導入する。
• Sensitivity-Samplesの生成を最適化問題として定式化し、わずかな重みの摂動に対しても検出可能な出力の変化を生じさせることを保証する。
• Sensitivity-Samplesを元の入力と視覚的に類似させる制約を課すことで、攻撃者が検出を回避するリスクを低減する。
• 勾配に基づく最適化を用いて、重みの変更下で出力分散を最大にする入力摂動を同定する。
• 検証プロセスでは、これらのSensitivity-Samplesをデプロイされたモデルにクエリし、既知のベースライン出力と照合する。
• 本手法はモデルアーキテクチャに依存せず、多様なDNNタスクや攻撃タイプに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックス手法は、バックドアや重みの改ざんといった微細で標的的なモデル整合性攻撃を、高い精度と低いオーバーヘッドで検出可能か？
• RQ2 Sensitivity-Samplesは、通常の入力と区別がつかないまま、重みの変更に対して最大限の感度を示せるようにどのように生成できるか？
• RQ3 提案手法は、モデル重みや学習データにアクセスできない状況でも、トロイの馬攻撃およびモデル圧縮攻撃を検出可能か？
• RQ4 さまざまな攻撃タイプにおいて、モデル整合性を信頼性高く検証するために必要な最小クエリ数はどの程度か？
• RQ5 本手法は、モデル重みを変更しない撹乱攻撃や汚染攻撃に対しても効果を発揮するか？

主な発見

• VerIDeepは、バックドアやモデル圧縮攻撃を含む、さまざまなDNNの整合性攻撃に対して99％を超える検出率を達成する。
• 本手法は、整合性検証に10回未満のブラックボックスモデルクエリで十分であり、非常に効率的である。
• 本手法は誤検出をゼロに保証しており、正当なモデルが誤って改ざん済みと誤認されるリスクがない。
• Sensitivity-Samplesは視覚的類似性制約に対して頑健であるため、攻撃者が検出を回避しようとしても検出を回避できない。
• 本手法は、画像分類やトランスファー学習のシナリオを含む多様なDNNアーキテクチャやタスクに有効である。
• 攻撃者がモデル重みのわずかな部分のみを変更した場合でも、本手法はモデル整合性の侵害を効果的に検出できる。