[論文レビュー] Removing Backdoor-Based Watermarks in Neural Networks with Limited Data

Xuankai Liu, Fengting Li+2 more|arXiv (Cornell University)|Aug 2, 2020

Adversarial Robustness in Machine Learning参考文献 28被引用数 17

ひとこと要約

この論文では、元の学習データのわずかな部分のみを用いて、深層ニューラルネットワークからのバックドアベースのウォーターマークを除去する新しいフレームワークWILDを提案する。ウォーターマークのトリガーを模倣する新しいデータ拡張技術と、特徴空間における分布ギャップの最小化を組み合わせることで、WILDはウォーターマークを効果的に除去する。ウォーターマーク保持率は約100%から20%未塔に低下し、MNISTとCIFAR-10ではそれぞれ平均0.3%および1.7%の精度低下で、モデルの精度をほぼ維持する。

ABSTRACT

Deep neural networks have been widely applied and achieved great success in various fields. As training deep models usually consumes massive data and computational resources, trading the trained deep models is highly demanded and lucrative nowadays. Unfortunately, the naive trading schemes typically involves potential risks related to copyright and trustworthiness issues, e.g., a sold model can be illegally resold to others without further authorization to reap huge profits. To tackle this problem, various watermarking techniques are proposed to protect the model intellectual property, amongst which the backdoor-based watermarking is the most commonly-used one. However, the robustness of these watermarking approaches is not well evaluated under realistic settings, such as limited in-distribution data availability and agnostic of watermarking patterns. In this paper, we benchmark the robustness of watermarking, and propose a novel backdoor-based watermark removal framework using limited data, dubbed WILD. The proposed WILD removes the watermarks of deep models with only a small portion of training data, and the output model can perform the same as models trained from scratch without watermarks injected. In particular, a novel data augmentation method is utilized to mimic the behavior of watermark triggers. Combining with the distribution alignment between the normal and perturbed (e.g., occluded) data in the feature space, our approach generalizes well on all typical types of trigger contents. The experimental results demonstrate that our approach can effectively remove the watermarks without compromising the deep model performance for the original task with the limited access to training data.

研究の動機と目的

• 攻撃者が学習データに制限されたアクセスしか持たない実世界の設定において、バックドアベースのウォーターマーク技術の脆弱性に対処すること。
• 完全な訓練データセットや追加のラベルなしデータ、複雑なハイパーパrameterチューニングを必要としないウォーターマーク除去手法の開発。
• 元のタスクにおける高いモデルパフォーマンスを維持しつつ、ウォーターマークを効果的に無効化すること。
• コンテンツベース、ノイズベース、および関係のないウォーターマークを含む多様なウォーターマークタイプに一般化できること。

提案手法

• 通常の入力にオクルージョンに類似した摂動を適用することで、ウォーターマーク注入効果を模倣する新しいデータ拡張戦略を提案。
• 通常の入力と摂動（例：オクルージョン）を加えた入力の間で特徴空間の分布を一致させることで、ウォーターマークパターンに対する耐性を向上。
• 高レベル特徴における分布ギャップを最小化する再訓練手順を最適化することで、未観測のウォーターマークパターンに対しても一般化性能を向上。
• ウォーターマーク除去と精度維持のバランスを図るため、交差エントロピー（CE）、ラベルスムージング（JS）、知識蒸留（DN）を最適化目的関数として採用。
• 外部のラベルなしデータや細かく調整された周波数スケジューリングに依存せず、限定的データ環境において実用的である。
• 入力分布内のデータのわずかなサブセットしか利用できない弱教師あり条件下でフレームワークを適用。

実験結果

リサーチクエスチョン

• RQ1 完全なデータセットではなく、元の学習データのわずかなサブセットのみを用いても、ウォーターマーク除去を効果的に達成できるか？
• RQ2 本手法は、コンテンツベース、ノイズベース、および関係のないウォーターマークを含む、さまざまなウォーターマークタイプに対してどのように性能を発揮するか？
• RQ3 ウォーターマーク除去後、元のタスクにおけるモデル精度はどの程度維持されるか？
• RQ4 特に精度低下とウォーターマーク保持率の観点から、REFITなどの最先端手法と比較してWILDの性能はどの程度か？

主な発見

• MNISTでは、学習データの20%を用いても、ウォーターマーク保持率をほぼ100%から20%未塔に低下させ、テスト精度の平均低下はわずか0.3%にとどまる。
• CIFAR-10でも同様のデータ制約下でウォーターマーク保持率が20%未塔に低下し、1.7%の平均精度低下で、優れた一般化性能を示す。
• 関係のないウォーターマークは最も除去が難しく、MNISTでは保持率が約20%、CIFAR-10では16%にとどまる。これはその分布外性に起因する。
• REFITに比べて優れた性能を発揮し、REFITは慎重な学習率チューニングを要するが、依然として高いウォーターマーク保持率や精度損失を抱える。
• 学習データの40%を用いる場合、WILDは精度低下をほとんど引き起こさない（CIFAR-10のコンテンツベースウォーターマークではわずか0.5%の低下）が、ウォーターマークは完全に除去される。
• 最適化戦略の中で、ラベルスムージング（JS）と交差エントロピー（CE）は、特に関係のないウォーターマークにおいて、知識蒸留（DN）よりも性能低下が小さい。