[論文レビュー] SSLGuard: A Watermarking Scheme for Self-supervised Learning Pre-trained Encoders

Tianshuo Cong, Xinlei He+1 more|arXiv (Cornell University)|Jan 27, 2022

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

SSLGuardは、自己教師あり学習（SSL）の事前学習済みエンコーダー向けの最初の水 Stamper スキームであり、トリガーパatters とシャドウトレーニングを用いてエンコーダーの表現空間に秘密の水 Stamper を埋め込む。モデル盗難攻撃および水 Stamper 削除攻撃に対して効果的に耐性を示し、高い精度を維持するとともに、所有権の信頼性のある検証が可能である。

ABSTRACT

Self-supervised learning is an emerging machine learning paradigm. Compared to supervised learning which leverages high-quality labeled datasets, self-supervised learning relies on unlabeled datasets to pre-train powerful encoders which can then be treated as feature extractors for various downstream tasks. The huge amount of data and computational resources consumption makes the encoders themselves become the valuable intellectual property of the model owner. Recent research has shown that the machine learning model's copyright is threatened by model stealing attacks, which aim to train a surrogate model to mimic the behavior of a given model. We empirically show that pre-trained encoders are highly vulnerable to model stealing attacks. However, most of the current efforts of copyright protection algorithms such as watermarking concentrate on classifiers. Meanwhile, the intrinsic challenges of pre-trained encoder's copyright protection remain largely unstudied. We fill the gap by proposing SSLGuard, the first watermarking scheme for pre-trained encoders. Given a clean pre-trained encoder, SSLGuard injects a watermark into it and outputs a watermarked version. The shadow training technique is also applied to preserve the watermark under potential model stealing attacks. Our extensive evaluation shows that SSLGuard is effective in watermark injection and verification, and it is robust against model stealing and other watermark removal attacks such as input noising, output perturbing, overwriting, model pruning, and fine-tuning.

研究の動機と目的

• 自己教師あり学習（SSL）の事前学習済みエンコーダーに対する著作権保護メカニズムの欠如に取り組むこと。SSLエンコーダーは急速に価値が高まる知的財産である。
• SSLエンコーダーに対するモデル盗難攻撃の脅威を定量化し、汎用性の高い表現が豊富に生成されるため、攻撃に非常に脆弱であることを示すこと。
• タスク固有のラベルや固定された下流タスクに依存しない水 Stamper スキームを設計すること。これにより、柔軟で多目的なSSLエンコーダーに適した仕組みを実現すること。
• モデル盗難、入力ノイズ、出力の摂動、上書き、プルーニング、ファインチューニング攻撃などに対して、水 Stamper の耐性を保証すること。
• ブラックボックスでの水 Stamper 抽出メカニズムを用いて、所有権の信頼性ある検証を可能にすること。

提案手法

• 秘密のトリガーベクトルと学習可能なプロジェクションヘッドを用いて、表現空間を変更することで、事前学習済みSSLエンコーダーに水 Stamper を埋め込む。
• サrogateモデルを同じデータ分布で訓練するシャドウトレーニング技術を採用し、モデル盗難中に水 Stamper の耐性を維持する。
• 標準的なSSL事前学習と水 Stamper 埋め込みの両方を実行する二重ヘッドアーキテクチャを採用し、性能劣化を最小限に抑える。
• 微分可能損失関数を適用し、トリガーパターンがトリガーパターン下でのエンコーダー出力と一致するようにすることで、エンドツーエンドの学習を可能にする。
• 同一のトリガーパターンと秘密鍵を用いて、疑惑のあるモデルから水 Stamper を抽出する検証プロトコルを採用し、所有権の証明を可能にする。
• ブラックボックスのモデル盗難やデータ汚染攻撃を含むさまざまな攻撃シナリオにおいて、敵対的評価を通じて耐性を検証する。

実験結果

リサーチクエスチョン

• RQ1 SSL事前学習エンコーダーはどの程度モデル盗難攻撃に対して脆弱であり、どのような要因がその脆弱性を引き起こすか？
• RQ2 下流タスクのラベルや固定された分類ターゲットに依存しないSSLエンコーダー向けの水 Stamper スキームを設計可能か？
• RQ3 シャドウトレーニング技術は、モデル盗難攻撃下でも水 Stamper の耐性をどの程度維持できるか？
• RQ4 入力ノイズ、出力の摂動、モデルプルーニングなどの一般的な水 Stamper 削除攻撃に対して、SSLGuardはどの程度耐性を示すか？
• RQ5 SSLGuardは、高いモデル実用性を維持しながら、信頼性の高い水 Stamper 抽出と所有権検証を実現できるか？

主な発見

• SSL事前学習エンコーダーは、豊富で汎用性の高い表現を生成するため、サrogateモデルが効果的に模倣可能であり、モデル盗難攻撃に対して極めて脆弱である。
• SSLGuardは、ImageNet や CIFAR-10 を含む複数の画像データセットで、95%以上の精度で水 Stamper の埋め込みと検証を成功させた。
• モデル盗難攻撃に対しても耐性を示し、攻撃者が同じ事前学習データとアーキテクチャにアクセスしている状況でも、水 Stamper 検出精度が90%以上を維持した。
• 入力ノイズは検出精度を5%未満に低下させるにとどまり、出力摂動やプルーニングによる影響もわずかに抑えられた。
• シャドウトレーニング技術は水 Stamper の持続性を顕著に向上させ、これなしのベースライン水 Stamper と比較して20%以上の耐性向上を達成した。
• 下流タスクでのファインチューニング後も、水 Stamper は保持され、性能劣化は最小限に抑えられ、トップ1精度は元のモデルと1%以内の差にとどまった。