[論文レビュー] Regulating Ownership Verification for Deep Neural Networks: Scenarios, Protocols, and Prospects

Fangqi Li, Shilin Wang+1 more|arXiv (Cornell University)|Aug 20, 2021

Adversarial Robustness in Machine Learning参考文献 23被引用数 4

ひとこと要約

本稿は、実世界のシナリオに特化した深層ニューラルネットワーク（DNN）の所有権確認のための3つの新規所有権確認プロトコルを提案する。従来のウォーターマーキングをはるかに超える新たなセキュリティ要件を特定し、それらの要件に対して5つの既存の手法を評価した結果、現在の手法ではすべてのプロトコル固有の要件を満たすことはできないことが判明し、多様な展開環境に適応可能な次世代のウォーターマーキング設計の強化が不可欠であることが示された。

ABSTRACT

With the broad application of deep neural networks, the necessity of protecting them as intellectual properties has become evident. Numerous watermarking schemes have been proposed to identify the owner of a deep neural network and verify the ownership. However, most of them focused on the watermark embedding rather than the protocol for provable verification. To bridge the gap between those proposals and real-world demands, we study the deep learning model intellectual property protection in three scenarios: the ownership proof, the federated learning, and the intellectual property transfer. We present three protocols respectively. These protocols raise several new requirements for the bottom-level watermarking schemes.

研究の動機と目的

• 実世界の展開ニーズと既存のDNNウォーターマーキング手法とのギャップを埋めるために、実用的かつ所有権確認に適したプロトコルを策定すること。
• フェデレーテッドラーニングやIP移管などの特定の展開状況に起因する、ウォーターマーキング手法に新たなセキュリティ要件を同定・形式化すること。
• Uchidaの手法、Rand、WF、ATGF、MTL-Signの5つの既存のウォーターマーキング手法を、耐性、隠蔽性、効率性の観点から、これらの新しい要件に基づいて評価すること。
• 現在のウォーターマーキング手法が、特にウォーターマーク容量とモデル整合性の対立する要件下で、同時にすべてのプロトコル固有のセキュリティ特性を満たせないことを実証すること。
• 現代のDNN IP保護における多面的かつしばしば矛盾する要件を満たすウォーターマーキング手法の今後の研究開発を提言すること。

提案手法

• 白ボックス所有権証明（信頼できるスポンサーを伴う）、APIベースサービスにおけるブラックボックス確認、フェデレーテッドラーニング環境における分散型確認の3つの異なる所有権確認プロトコルを提案する。
• プロトコル固有の制約下でウォーターマーキング手法を評価するための5つの新たなセキュリティメトリクスを導入する：(A) 損傷攻撃への耐性、(B) ウォーターマーク容量、(C) ファインチューニングへの耐性、(D) 埋め込み時間、(E) FL収束への影響。
• 還元に基づくセキュリティ解析を用いて、提案されたプロトコルのセキュリティが、下位のウォーターマーキング手法のセキュリティに依存できることを示す。
• バックボーンモデルとしてResNet-50を採用し、PyTorchフレームワーク下でMNIST、CIFAR10、CIFAR100データセットを用いて評価を行う。
• 微調整、プルーニング、蒸留といった標準化された攻撃モデルを適用し、すべての手法の耐性および隠蔽性を評価する。
• 敵の水色モデルとクリーンモデルを区別できる能力を用いて隠蔽性を評価する形式的実験設定（アルゴリズム1）を採用する。

実験結果

リサーチクエスチョン

• RQ1 実世界の環境における実用的かつ所有権確認に適したプロトコルをサポートするため、DNNウォーターマーキング手法に新たに必要なセキュリティ特性は何か？
• RQ2 既存のウォーターマーキング手法は、新しいプロトコル固有の要件、特に耐性、隠蔽性、効率性の観点でどのように性能を示すか？
• RQ3 提案された所有権確認プロトコルのセキュリティは、下位のウォーターマーキング手法のセキュリティに形式的に還元可能か？
• RQ4 ウォーターマーク容量と高いモデル整合性の両立が困難な対立要件が、現在のウォーターマーキング手法の適用範囲にどの程度制限を及えるか？
• RQ5 フェデレーテッドラーニングのような分散環境において、異なるウォーターマーキング手法は収束性およびモデル整合性の観点でどの程度の性能を示すか？

主な発見

• MTL-Sign（M-S）は損傷攻撃に対する耐性が最も高く、MNISTでは0.7%の精度低下、CIFAR100では8.2%の低下を示し、モデル改ざんに対する高い耐性を示した。
• Uchidaの手法は最高のウォーターマーク容量を達成し、モデル精度への影響は最小限（MNISTで0.1%）であり、攻撃成功の閾値も高く（≥1,000イテレーション）、高い耐性を示した。
• バックドアベースの手法（RandおよびWF）は、それぞれMNISTで30.2%および41.3%の低いウォーターマーク容量を示し、高容量埋め込みに対して脆弱であることが判明した。
• M-Sの埋め込み時間は最長（MNISTで750ms）であり、Uchidaの手法は最も速かった。これは、セキュリティと効率性のトレードオフを示している。
• すべての手法がフェデレーテッドラーニング（E）においてDNN収束にほとんど影響を与えず、M-SとUchidaの手法はCIFAR100でそれぞれ0.0%の影響を示した。
• 現在のウォーターマーキング手法では、すべてのプロトコル固有の要件を同時に満たすことはできず、特にウォーターマーク容量と強いモデル整合性の対立要件下では顕著であった。