[論文レビュー] Preventing Unauthorized Use of Proprietary Data: Poisoning for Secure Dataset Release

Liam Fowl, Ping-yeh Chiang+5 more|arXiv (Cornell University)|Feb 16, 2021

Advanced Malware Detection Techniques被引用数 12

ひとこと要約

本論文は、公開データセットをわずかに改変することで、それらのデータで訓練されたモデルの一般化性能を著しく低下させる、新規でスケーラブルなデータ汚染手法を提案する。この手法は、視認品質を保ちつつ、競合他社が特許を取得したモデルを再現できないようにする。アプローチは、深層ネットワークのテスト誤差を最大化する最小限の摂動を、オンラインで勾配ベースの最適化によって生成する。ImageNetおよび顔認識タスクにおいて、最小限のデータ改変で最先端の結果を達成している。

ABSTRACT

Large organizations such as social media companies continually release data, for example user images. At the same time, these organizations leverage their massive corpora of released data to train proprietary models that give them an edge over their competitors. These two behaviors can be in conflict as an organization wants to prevent competitors from using their own data to replicate the performance of their proprietary models. We solve this problem by developing a data poisoning method by which publicly released data can be minimally modified to prevent others from train-ing models on it. Moreover, our method can be used in an online fashion so that companies can protect their data in real time as they release it.We demonstrate the success of our approach onImageNet classification and on facial recognition.

研究の動機と目的

• 公開データの公開と、特許を取得したモデルのトレーニングによる競争優位性の両立を是するため。
• 視認品質に影響を与えることなく、公開されたデータでトレーニングされたモデルの一般化性能を低下させる手法を開発するため。
• ソーシャルメディアなどの動的データ配信プラットフォームに適した、リアルタイムで可能なオンラインデータ汚染を実現するため。
• 従来の無差別的汚染攻撃に比べ、有効性とスケーラビリティの面で優れていること。
• 組織が透明性を保ちつつデータを公開し、同時にモデルトレーニングの優位性を保護する実用的ソリューションを提供するため。

提案手法

• 汚染されたデータでトレーニングされたモデルのテスト誤差を最大化する二段階最適化問題を定式化し、摂動はℓ∞ノルムで制限される。
• 代替モデルを用いてターゲット勾配を推定し、損失関数を設計して、ターゲット勾配とモデル損失勾配の内積を最大化する摂動を生成する。
• 勾配計算における分母を分離することで、サンプルごとのオンライン摂動生成を可能にし、分散処理やリアルタイム応用を可能にする。
• 視覚的忠実度を向上させるために、ℓ2、全変動（TV）、およびSSIMなどの正則化技術を組み込む。
• 符号付きAdam最適化を用いて、一般化性能を著しく低下させつつも人間が認識できない摂動を効率的に計算する。
• ブラックボックス環境でも有効に機能するように設計されており、ターゲットモデルのアーキテクチャや重みにアクセスする必要がない。

実験結果

リサーチクエスチョン

• RQ1 公開データでトレーニングされた深層ネットワークの一般化性能を著しく低下させるデータ汚染手法を開発可能か？
• RQ2 このような手法を、動的データプラットフォームに適したオンライン・リアルタイム形式で適用可能か？
• RQ3 特に汚染率が低い状況下でも、現代的な深層ネットワーク（例：ResNet-18）の性能低下にどの程度有効か？
• RQ4 正則化技術（例：SSIM、TV）は、汚染効果を損なわせることなく視覚的品質をどの程度向上させるか？
• RQ5 この手法は、画像分類と顔認識タスクの両方で効果的に適用可能か？

主な発見

• 勾配推定に5%のデータのみを用いて汚染されたImageNetデータでResNet-18をトレーニングした場合、検証精度が44.82%に低下し、極めて少ないデータで高い有効性を示した。
• 勾配推定に5%のデータのみを用い、正則化を施さない場合でも、検証誤差は2倍に上昇し、精度が74.64%に達した。これは、データスパarsityに強く、高いロバストネスを示している。
• SSIM や TV などの正則化項を追加すると摂動の可視性が低下するが、同時に検証精度が上昇する。例えば、SSIM 正則化を施すと精度は44.82%から51.09%に上昇した。
• 勾配計算の分母を分離することで実現されたオンライン摂動生成機構は、フルバッチ版とほぼ同一の摂動を生成でき、スケーラブルかつ分散展開が可能である。
• 特にブラックボックス環境やリアルタイム設定において、従来の無差別的汚染攻撃を上回り、データのわずかな一部しか汚染しない場合でも有効である。
• この手法は、ImageNet分類タスクと顔認識タスクの両方で有効であり、視覚ベンチマーク全体に広く適用可能であることが示された。