[論文レビュー] Training DNN Model with Secret Key for Model Protection

AprilPyone MaungMaung, Hitoshi Kiya|arXiv (Cornell University)|Aug 6, 2020

Adversarial Robustness in Machine Learning参考文献 23被引用数 5

ひとこと要約

本論文は、訓練の前処理段階として秘密鍵を用いたブロック単位のピクセルシャッフルを実施する、深層ニューラルネットワーク（DNN）の鍵ベースのモデル保護手法を提案する。正しい鍵が使用された場合、保護されたモデルはほぼベースラインの精度を維持するが、誤った鍵や通常の入力では性能が著しく低下し、微調整攻撃に対しても耐性を示す。この手法は訓練や推論に追加のオーバーヘッドを生じさせない。

ABSTRACT

In this paper, we propose a model protection method by using block-wise pixel shuffling with a secret key as a preprocessing technique to input images for the first time. The protected model is built by training with such preprocessed images. Experiment results show that the performance of the protected model is close to that of non-protected models when the key is correct, while the accuracy is severely dropped when an incorrect key is given, and the proposed model protection is robust against not only brute-force attacks but also fine-tuning attacks, while maintaining almost the same performance accuracy as that of using a non-protected model.

研究の動機と目的

• 訓練済みDNNモデルが所有権の確認が可能であっても、盗難や不正使用の脆弱性を解消すること。
• 所有権の特定ではなく、盗難されたモデルの不正使用を防止するモデル保護メカニズムの開発。
• ネットワークアーキテクチャを変更せず、計算オーバーヘッドを追加しない軽量で侵入性のない手法の設計。
• 正しい鍵が使用された場合に高いモデル精度を維持するとともに、ブルートフォース攻撃および微調整攻撃に対して耐性を示す。
• 既存のパスポートベースや水増し技術に追加のネットワーク層を設ける方式と比較して、鍵管理を簡素化すること。

提案手法

• 訓練および推論の前処理段階として、秘密鍵を用いたブロック単位のピクセルシャッフルを入力画像に適用する。
• 訓練段階と推論段階の両方で同一の鍵を適用することで、モデルの挙動の一貫性を確保する。
• 入力画像全体にわたって重複のないブロックに分割し、固定されたブロックサイズ（M ∈ {2, 4, 8}）を用いてピクセルをシャッフルする。
• シャッフル操作は、正しい鍵がなければ復元不能であり、誤った鍵が使用されるとモデル性能が著しく低下する。
• ネットワークアーキテクチャや最適化手法の設定を変更せずに、事前処理済みの画像を用いてDNN（ResNet-18）を訓練する。
• 本手法は、データオーグメンテーション、ミックスプレシジョントレーニング、サイクル学習率など、標準的な訓練技術と互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 秘密鍵を入力前処理段階に統合することで、DNNモデルの不正使用を防げるか？
• RQ2 正しい鍵が使用された場合、本手法は非保護ベースラインと比較して高い精度を維持するか？
• RQ3 誤った鍵が使用された場合、または通常の画像が入力された場合、モデル性能はどの程度低下するか？
• RQ4 攻撃者が偽の鍵を用いてモデルを再訓練しようとする微調整攻撃に対し、保護されたモデルは耐性を示すか？
• RQ5 既存の鍵ベースや水増しベースのモデル保護手法と比較して、本手法の性能とオーバーヘッドはどのように異なるか？

主な発見

• 正しい鍵を使用した場合、CIFAR-10で94.70%の精度を達成し、ベースラインモデルの95.45%と非常に近い。
• 誤った鍵を使用した場合、M=2では25.84%、M=4では20.01%、M=8では14.98%に精度が低下し、強い鍵依存性が確認された。
• 事前処理を施さない通常の画像を入力した場合にも性能が著しく低下したため、適切な前処理がなければモデルが使用できないことが裏付けられた。
• 微調整攻撃に対しても本手法は耐性を示した：訓練データから1000枚の画像を用いても、偽の鍵を使用した場合の最高精度は45.46%にとどまり、正しい鍵使用時の性能とは大きく隔たっていた。
• 追加のネットワーク層や複雑な鍵管理を必要とせず、同等の精度を達成できるため、パスポートベースの手法[3]に比べて使いやすさと効率性に優れた。
• ネットワークを変更せず、軽量な前処理ステップのみを追加するため、訓練や推論にオーバーヘッドを生じさせない。