[論文レビュー] Towards Generalizable Data Protection With Transferable Unlearnable Examples

Bin Fang, Bo Li+5 more|arXiv (Cornell University)|May 18, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本論文は、データ分布の勾配マッチングによるデータコラプスを誘発することで、移行可能な学習不能な例を生成する、革新的で一般化可能なデータ保護手法を提案する。分布レベルの耐性に注目し、耐性のある代替モデルを用いることで、さまざまなモデルやデータセットにおいて優れた保護効果と一般化性能を達成し、標準的および敵対的訓練の両状況で先行SOTA手法を上回る。

ABSTRACT

Artificial Intelligence (AI) is making a profound impact in almost every domain. One of the crucial factors contributing to this success has been the access to an abundance of high-quality data for constructing machine learning models. Lately, as the role of data in artificial intelligence has been significantly magnified, concerns have arisen regarding the secure utilization of data, particularly in the context of unauthorized data usage. To mitigate data exploitation, data unlearning have been introduced to render data unexploitable. However, current unlearnable examples lack the generalization required for wide applicability. In this paper, we present a novel, generalizable data protection method by generating transferable unlearnable examples. To the best of our knowledge, this is the first solution that examines data privacy from the perspective of data distribution. Through extensive experimentation, we substantiate the enhanced generalizable protection capabilities of our proposed method.

研究の動機と目的

• 既存の学習不能例手法における一般化の欠如に起因する、敵対的訓練や異なるモデルへの移行においての失敗を是正すること。
• 学習不能例の保護効果を、モデル固有のノイズからデータ分布レベルの摂動にシフトさせることで向上させること。この摂動はデータコラプスを誘発する。
• 敵対的訓練に対して耐性を持つ代替モデルを用いることで、学習不能例の耐性を強化すること。
• 多様なアーキテクチャとデータセットにおいても強力な保護効果を維持できるように、移行性を確保する手法を開発すること。
• 不正なモデル訓練が伴う状況を含め、機械学習におけるデータプライバシー保護のスケーラブルで一般化可能なソリューションを提供すること。

提案手法

• スコアモデルを用いてデータ分布の勾配を推定し、データコラプスを誘発するターゲットドの摂動を可能にする。
• 特徴空間上でデータポイントを互いに近づけることで、学習不能な例を生成し、識別情報の低下を促進する。
• 代替モデルを訓練して学習不能ノイズを生成することで、敵対的ファインチューニングに対しても保護効果が持続することを保証する。
• 特定のモデルアーキテクチャに依存しないように設計されており、さまざまなニューラルネットワーク間での移行性を高めている。
• 目に見えない、分布に適応した摂動を適用し、汚染済みの例で訓練された場合に、元のデータでのモデル性能が低下するようにする。
• 生成フェーズでは敵対的訓練を適用することで、学習不能例がモデルファインチューニングに対しても有効であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 学習不能例は、さまざまなディープラーニングモデルやデータセットにおいて、より一般化可能にできるか？
• RQ2 分布レベルの勾配マッチングによるデータコラプス誘発が、学習不能例の耐性および移行性に与える影響は何か？
• RQ3 耐性を持つ代替モデルを用いることで、敵対的訓練に対する学習不能例の耐性が著しく向上するか？
• RQ4 提案手法は、標準的および敵対的訓練の両状況で、既存のSOTA手法をどの程度上回る保護効果を示すか？
• RQ5 データ分布に適応した摂動は、ピクセルレベルや特徴レベルのノイズ注入よりも、より強力で移行性の高いデータ保護を達成できるか？

主な発見

• 敵対的訓練後、CIFAR-10で平均テスト精度が62.76%に低下したが、これはEM（88.31%）やREM（75.01%）よりも顕著に低い結果であり、優れた耐性を示している。
• CIFAR-100でも、敵対的訓練後、平均精度が43.68%に維持された。これはEM（61.60%）やREM（49.97%）よりも保護能力に優れていることを示している。
• VGG-16、ResNet-18など異なる代替モデルを用いた場合、平均してモデル精度が36%未満にまで低下した。これは強力な一般化性能を示している。
• 複数のデータセットおよびモデルにおいて、SOTA手法と比較して5%～32%の精度低下を達成した。これにより、より優れた一般化性能が確認された。
• 耐性を持つ代替モデルを用いることで、非耐性手法（EM や REM など）とは異なり、敵対的ファインチューニング後も学習不能例の効果が持続した。
• 広範な実験により、本手法の保護効果は多様なアーキテクチャおよびデータセットにおいて頑健であり、標準的および敵対的訓練の両状況で一貫した性能低下が確認された。