[論文レビュー] Don't Forget to Sign the Gradients!

Omid Aramoon, Pin‐Yu Chen+1 more|arXiv (Cornell University)|Mar 5, 2021

Adversarial Robustness in Machine Learning参考文献 26被引用数 5

ひとこと要約

GradSigns は、モデル入力に関する交差エントロピー損失の期待勾配に統計的バイアスを導入することで所有権サインを埋め込む、深層ニューラルネットワーク向けの新規ブラックボックスデジタル水 Stam ングフレームワークである。精度の著しい低下がなく、API を通じたリモート検証が可能で、従来の手法に比べて耐性、容量、信頼性の面で優れている。

ABSTRACT

Engineering a top-notch deep learning model is an expensive procedure that involves collecting data, hiring human resources with expertise in machine learning, and providing high computational resources. For that reason, deep learning models are considered as valuable Intellectual Properties (IPs) of the model vendors. To ensure reliable commercialization of deep learning models, it is crucial to develop techniques to protect model vendors against IP infringements. One of such techniques that recently has shown great promise is digital watermarking. However, current watermarking approaches can embed very limited amount of information and are vulnerable against watermark removal attacks. In this paper, we present GradSigns, a novel watermarking framework for deep neural networks (DNNs). GradSigns embeds the owner's signature into the gradient of the cross-entropy cost function with respect to inputs to the model. Our approach has a negligible impact on the performance of the protected model and it allows model vendors to remotely verify the watermark through prediction APIs. We evaluate GradSigns on DNNs trained for different image classification tasks using CIFAR-10, SVHN, and YTF datasets. Experimental results show that GradSigns is robust against all known counter-watermark attacks and can embed a large amount of information into DNNs.

研究の動機と目的

• 商業的および MLaaS 環境における貴重な知的財産としての深層学習モデルの保護ニーズが高まる中で、これを解決すること。
• モデル重みやアーキテクチャにアクセスせずに、API を通じたリモートでのモデル所有権検証が可能なブラックボックス水 Stam ング手法の開発。
• 従来の手法の限界、例えば 1 ビットのみの容量と、削除・偽造攻撃に対する脆弱性を克服すること。
• 水 Stam ングがモデルの精度にほとんど影響を与えない一方で、さまざまな敵対的攻撃に対しても検出可能であることを保証すること。
• 実世界の展開環境において、モデル所有権を裏付ける信頼性があり、効率的でスケーラブルなソリューションを提供すること。

提案手法

• GradSigns は、モデルの入力特徴量に関する交差エントロピー損失の期待勾配にバイアスを導入することで、水 Stam を埋め込む。
• 水 Stam を埋め込むために、入力パターンのキャリアセットを用いて勾配分布に統計的バイアスを導入し、水 Stam ビットに応じて勾配の符号を操作する。
• 水 Stam は、水 Stam キーと擬似乱数関数から導出される符号付き摂動を用いて勾配更新を調整することで、学習段階で埋め込まれる。
• 水 Stam 抽出は、水 Stam キーに該当する画像セットにおける期待勾配を推定し、符号バイアスを分析することで実行される。
• 本手法は、精度と検証コストのバランスを取るために、サンプルサイズを調整可能な座標単位の勾配推定アプローチを採用している。
• 検証は API アクセスを通じて実施され、モデルの重みやアーキテクチャに白ボックスアクセスが不要なリモート所有権証明が可能である。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックス水 Stam ング手法は、高精度を維持したまま、DNN に 1 ビットを超える情報を埋め込むことができるか？
• RQ2 一般および適応的対水 Stam 攻撃（微調整、蒸留、勾配マスキングなど）に対して、水 Stam はどれほど耐性があるか？
• RQ3 モデル重みやアーキテクチャにアクセスせずに、API クエリのみで水 Stam を信頼性高く抽出できるか？
• RQ4 正確な水 Stam 抽出を達成するための最小サンプルサイズはどの程度か？（検証コストを低く抑えるために）
• RQ5 元の学習データにアクセスできない状況で、攻撃者が正当な水 Stam を偽造することは可能か？

主な発見

• GradSigns は、CIFAR-10、SVHN、YTF データセットで学習された DNN に 16 ビット、32 ビット、64 ビットの水 Stam を埋め込み、精度の低下が 1% 未満という著しい影響の小ささを達成した。
• 微調整、知識蒸留、勾配マスキングを含むあらゆる一般および適応的対水 Stam 攻撃に対して、100% の検出率を達成した。
• CIFAR-10 および SVHN では 1 ビットあたり 500 クエリ未満、YTF では 100 クエリ未満で水 Stam 抽出が可能であり、高い効率性を示した。
• 本手法は非常に信頼性が高く、偽造水 Stam を作成するには 1 クラスあたり少なくとも 4,096 のサンプルが必要であり、攻撃者の脅威モデル下では現実的ではなく、性能劣化を引き起こす。
• 1 クラスあたり 4,096 サンプルを用いた偽造では、偽造水 Stam の BESR（ビット誤り符号レート）は 1.0 に達し、成功した偽造は一切なかった。また、偽造試行では最大 4.43% の性能低下が観察された。
• 敵対的微調整やモデル蒸留後でも、水 Stam は検出可能であり、実用的な脅威シナリオにおける強い耐性を確認した。