[論文レビュー] Deep-Lock: Secure Authorization for Deep Neural Networks

Manaar Alam, Sayandeep Saha+2 more|arXiv (Cornell University)|Aug 13, 2020

Adversarial Robustness in Machine Learning参考文献 7被引用数 4

ひとこと要約

Deep-Lock は、S-Box と鍵スケジューリングアルゴリズムを用いて DNN パrameter を暗号化する軽量で鍵ベースのモデルロック手法を提案する。正しくないマスターキーでは正しく機能しないが、正しくないマスターキーを用いた場合、モデルの微調整攻撃に対しても強力なセキュリティを提供する。モデルアーキテクチャの変更や顕著なパフォーマンスオーバーヘッドなしに、強力なセキュリティを実現する。

ABSTRACT

Trained Deep Neural Network (DNN) models are considered valuable Intellectual Properties (IP) in several business models. Prevention of IP theft and unauthorized usage of such DNN models has been raised as of significant concern by industry. In this paper, we address the problem of preventing unauthorized usage of DNN models by proposing a generic and lightweight key-based model-locking scheme, which ensures that a locked model functions correctly only upon applying the correct secret key. The proposed scheme, known as Deep-Lock, utilizes S-Boxes with good security properties to encrypt each parameter of a trained DNN model with secret keys generated from a master key via a key scheduling algorithm. The resulting dense network of encrypted weights is found robust against model fine-tuning attacks. Finally, Deep-Lock does not require any intervention in the structure and training of the DNN models, making it applicable for all existing software and hardware implementations of DNN.

研究の動機と目的

• DNN モデルの違法な使用を防ぐという急増する脅威に対処する。具体的には、意思決定境界を盗もうとしなくても、不正なユーザーが盗難されたモデルを不正に使用できる状況を防ぐ。
• 正しくない秘密鍵が与えられた場合、ロックされたモデルが正しく動作しなくなるようにすることで、DNN の不正使用を防止するソリューションを提供する。
• モデル構造やトレーニングプロセスを変更せずに、汎用的で軽量かつハードウェア／ソフトウェア互換性のあるメカニズムを開発する。
• モデルアーキテクチャとマニフェストデータセットへのアクセスがある状況でも、敵対者が微調整によって有用な精度を回復できないことを保証する。
• 従来のソフトウェア製品鍵方式のリスクを軽減するため、鍵の検証を DNN 推論プロセス自体に埋め込む。

提案手法

• 各 DNN 重みを暗号的に安全な S-Box を用いて暗号化し、鍵スケジューリングアルゴリズムを介してマスターキーから鍵を導出する。
• 推論時に正しい鍵を用いて逆 S-Box 操作を実行することで、重みを復号し、モデルの機能を元に戻す。
• 評価のための具体的な実装として、AES S-Box と AES 鍵スケジューリングアルゴリズムを採用する。
• デバイス上にはマスターキーのみを格納し、推論中に秘密鍵情報が露出しないようにする。
• 鍵の検証手順を DNN 計算に直接埋め込むことで、モデルがメモリ上に暗号化されていない状態を露出しないようにする。
• モデル構造の変更を避けることで、既存の DNN ソフトウェアおよびハードウェアプラットフォームと互換性を保つ。

実験結果

リサーチクエスチョン

• RQ1 モデルトレーニングやアーキテクチャに干渉しない、軽量で汎用的かつ透明性の高い DNN ロッキングメカニズムを設計可能か？
• RQ2 ブラックボックス環境でモデルがアクセスされた場合、提案手法の有効性はいかほどか？
• RQ3 マニフェストデータセットと誤った鍵を用いて微調整を試みた場合、敵対者はどの程度の精度を回復可能か？
• RQ4 推論時間とモデルサイズの観点から、ロックメカニズムのパフォーマンスオーバーヘッドはどの程度か？
• RQ5 HPNN などの既存のハードウェア支援型手法と比較して、Deep-Lock のセキュリティは微調整攻撃に対してどの程度優れているか？

主な発見

• 正しいマスターキーでアンロックされた場合、Deep-Lock は元のモデルと同等の精度を維持し、パフォーマンス劣化がないことを示した。
• 誤った鍵が与えられた場合、ロックされたモデルはランダム分類器として振る舞い、100回のランダム鍵試行の平均精度は10％未満にとどまった。
• 元のトレーニングデータの10％を用いた微調整でも、CIFAR-10 などの複雑なデータセットに対しても、ランダム分類レベルを超える精度向上は見られなかった。
• MNIST および Fashion-MNIST では推論時間のオーバーヘッドが最小限であり、CIFAR-10 では多少高いが、ハードウェアアクセラレータ上で高並列化可能である。
• 微調整攻撃に対して強い耐性を示し、誤った鍵を用いた場合、何らかの意味のある精度回復が不可能であるため、HPNN よりも優れた性能を示した。
• モデル構造やトレーニングプロセスの変更が不要であるため、既存のソフトウェアおよびハードウェア DNN プラットフォームへのシームレスな統合が可能である。