[論文レビュー] Evolutionary Trigger Set Generation for DNN Black-Box Watermarking

Jia Guo, Miodrag Potkonjak|arXiv (Cornell University)|Jun 11, 2019

Adversarial Robustness in Machine Learning参考文献 16被引用数 8

ひとこと要約

本稿では、ブラックボックスDNNの水増し技術におけるトリガーパターンの最適化を目的とした微分進化ベースのフレームワークを提案する。従来手法と比較して、誤検出率を最大10倍まで低減するとともに、ファインチューニング攻撃に対しても耐性を維持する。本手法は、モデルに広がる特徴を有する、目に見えないが高影響力のトリガーを生成することで、所有権の証明を強化する。

ABSTRACT

The commercialization of deep learning creates a compelling need for intellectual property (IP) protection. Deep neural network (DNN) watermarking has been proposed as a promising tool to help model owners prove ownership and fight piracy. A popular approach of watermarking is to train a DNN to recognize images with certain extit{trigger} patterns. In this paper, we propose a novel evolutionary algorithm-based method to generate and optimize trigger patterns. Our method brings a siginificant reduction in false positive rates, leading to compelling proof of ownership. At the same time, it maintains the robustness of the watermark against attacks. We compare our method with the prior art and demonstrate its effectiveness on popular models and datasets.

研究の動機と目的

• DNNブラックボックス水増しにおける誤検出率と耐性のトレードオフを解消すること。
• 目に見えないが顕著なトリガーを最適化することで、強力で身元に基づく所有権の証明を可能にすること。
• 進化的最適化によってトリガーパターンを最適化し、非水増しモデルが水増しを誤検出する可能性を低減すること。
• 異なるDNNアーキテクチャーやデータセットにわたるトリガーパターンの一般化を向上させること。
• ファインチューニングなどの一般的な攻撃に対して水増しの耐性を維持しつつ、モデルの精度への影響を最小限に抑えること。

提案手法

• 本手法は、入力画像に追加されるトリガーパターンのパラメータを最適化するために微分進化（DE）アルゴリズムを採用する。
• 適応度関数は、非水増しモデルにおける誤検出率を最小限に抑えつつ、水増しモデルにおけるトリガー分類精度を高めるように設計されている。
• フレームワークは、自然画像分布からの明確な差異を最大化するために、トリガーパターンの空間的配置と色の特性を最適化する。
• DE学習では1つの水増しモデル（ResNet-18）を用いるが、得られたトリガーパターンはVGG-16、DenseNet-121、ResNet-50など他のモデルに対しても良好に一般化される。
• 自然画像特徴への歪みを最小限に抑え、標準テストセットにおけるモデル精度を維持する。
• 目に見えにくさと検出可能性のバランスを、ファインチューニング攻撃中に除去されにくくなるように、トリガーパターンの可視性を最適化することで実現する。

実験結果

リサーチクエスチョン

• RQ1 進化的最適化によって、耐性を損なわず誤検出率を低減できるか？
• RQ2 DEで最適化されたトリガーパターンは、さまざまなDNNアーキテクチャにどの程度一般化されるか？
• RQ3 どの程度まで、トリガーパターンを目に見えにくくかつ顕著にできるか、誤検出を最小限に抑えるか？
• RQ4 本手法は、既存のトリガーパターン生成技術と比較して、ファインチューニング攻撃に対する耐性でどの程度優れているか？
• RQ5 1つの最適化済みトリガーパターンが、複数のモデルにわたって信頼できる所有権証明として機能できるか？

主な発見

• 提案手法によるDEベースのトリガーパターン生成により、ベースラインのランダムキー手法と比較して誤検出率が最大10倍まで低減した。
• 5つの独立して訓練されたVGG-13モデルにおいて、誤検出率は1.15% ± 0.06%にまで低下し、優れた一般化性能を示した。
• ファインチューニング後の精度損失は、DE最適化キーパターンで-0.29%にとどまり、ベースライン手法の-73.97%と比較して著しく優れた耐性を示した。
• DE最適化ロゴパターンは、先行研究と比較して誤検出率が2倍改善され、指定された条件下では誤検出確率が25,000倍以上低下した。
• 標準テストセットにおける分類精度は高く維持されており、非水増しモデルと比較してわずかな低下にとどまった。
• 最適化されたトリガーパターンは、自然データ分布からの明確な差異を有していたため、ファインチューニング中に削除されにくく、通常の分類行動とは直交していた。