[論文レビュー] IPGuard: Protecting Intellectual Property of Deep Neural Networks via Fingerprinting the Classification Boundary

Xiaoyu Cao, Jinyuan Jia+1 more|arXiv (Cornell University)|Oct 28, 2019

Adversarial Robustness in Machine Learning参考文献 40被引用数 20

ひとこと要約

IPGuardは、訓練済みモデルの分類境界に近いデータポイントを用いて、その分類境界をファングリーブとして特定することで、深層ニューラルネットワーク（DNN）の知的財産を保護する新規手法である。ウォーターマーキングとは異なり、精度の低下を引き起こさない。これは、既に訓練済みのモデルを分析し、これらの境界点での一貫したラベル予測を用いて改ざんされたバージョンを検出するもので、後処理技術に対しても高い効率性と高い耐性を示す。

ABSTRACT

A deep neural network (DNN) classifier represents a model owner's intellectual property as training a DNN classifier often requires lots of resource. Watermarking was recently proposed to protect the intellectual property of DNN classifiers. However, watermarking suffers from a key limitation: it sacrifices the utility/accuracy of the model owner's classifier because it tampers the classifier's training or fine-tuning process. In this work, we propose IPGuard, the first method to protect intellectual property of DNN classifiers that provably incurs no accuracy loss for the classifiers. Our key observation is that a DNN classifier can be uniquely represented by its classification boundary. Based on this observation, IPGuard extracts some data points near the classification boundary of the model owner's classifier and uses them to fingerprint the classifier. A DNN classifier is said to be a pirated version of the model owner's classifier if they predict the same labels for most fingerprinting data points. IPGuard is qualitatively different from watermarking. Specifically, IPGuard extracts fingerprinting data points near the classification boundary of a classifier that is already trained, while watermarking embeds watermarks into a classifier during its training or fine-tuning process. We extensively evaluate IPGuard on CIFAR-10, CIFAR-100, and ImageNet datasets. Our results show that IPGuard can robustly identify post-processed versions of the model owner's classifier as pirated versions of the classifier, and IPGuard can identify classifiers, which are not the model owner's classifier nor its post-processed versions, as non-pirated versions of the classifier.

研究の動機と目的

• 高リスク分野において1%の精度損失ですら許されない状況を踏まえ、深層ニューラルネットワーク（DNN）分類器の違法複製から保護するという重要なニーズに対応すること。
• 訓練またはファインチューニングプロセスを変更することによって精度を低下させる既存のウォーターマーキング技術の主な制限を克服すること。
• 元のモデルの性能を損なわず、再訓練を必要とせずに改ざんされたDNNモデルの検出を可能にする手法を開発すること。
• モデル圧縮、ファインチューニング、再訓練といった一般的な後処理攻撃に対しても耐性を示すこと。
• 分類境界に近いファングリーブデータポイントを生成する際の高い効率性を達成し、最先端の adversarial 攻撃手法を上回ること。

提案手法

• IPGuardは、事前に訓練済みのDNN分類器の分類境界に近いデータポイントを特定し、これをファングリーブデータポイントとして扱う。
• 元のラベルを保持したまま、データポイントを分類境界に近づけるための、新規で効率的な最適化手法を用いる。
• 摂動のL2ノルムに制約を設けないため、CW-L2などの手法よりも計算が高速になる。
• ファングリーブは、元のデータポイントと、それらに対するターゲット分類器の予測ラベルの集合として定義され、一意なシグネチャを形成する。
• 不正利用の疑いがある分類器に対しては、モデル所有者が同じファングリーブデータポイントを予測APIに問い合わせ、ラベルの一致が継続的に確認されれば改ざんの可能性が高くなる。
• 訓練やファインチューニングの変更を行わないため、元のモデルに対しては理論的に正確であることが保証される。

実験結果

リサーチクエスチョン

• RQ1 訓練プロセスを変更せずに、分類境界のみに基づいてDNN分類器を一意にファングリーブ化できるか？
• RQ2 モデル圧縮、ファインチューニング、再訓練といった一般的な後処理技術に対し、ファングリーブ化手法はどれほど耐性を示すか？
• RQ3 分類境界に近いファングリーブデータポイントを効率的に生成しつつ、高い検出精度を維持できるか？
• RQ4 不正コピーでないモデルを正しく「非改ざん」と特定するため、誤検出（偽陽性）を回避できるか？
• RQ5 最先端の adversarial 例生成手法と比較して、本手法の効率性と精度はどの程度か？

主な発見

• IPGuardは、CIFAR-10およびCIFAR-100において、モデル圧縮やファインチューニングを施した後処理版の検出において、95%を超えるほぼ完璧な一致率（matching rates）を達成した。
• ImageNetにおいても、IPGuardは後処理モデルに対して90%以上の一致率を維持し、大規模データセットへのスケーラビリティを示した。
• FGSMおよびIGSMよりも耐性と効率性に優れ、ARUCスコアは同等ながら、CW-L2に比べて桁違いに高速であった。
• IPGuardは極めて少ない偽陽性を示した。CIFAR-100において、異なる乱数シードで訓練された不正コピーでないモデルは、一致率がほぼ0%に近かったため、高い一意性が確認された。
• CIFAR-100において、IPGuardは100個のファングリーブデータポイントを249.9秒で生成できたが、CW-L2は30,644.6秒を要した。ARUC性能は同等ながら、著しく高速であった。
• IPGuardにおける摂動の平均L2ノルムは1.29であり、CW-L2の0.64よりも高かった。これは、IPGuardがノルム制約を設けていないため、収束が速くなることを裏付けている。