[論文レビュー] Turning Your Weakness Into a Strength: Watermarking Deep Neural Networks by Backdooring

Yossi Adi, Carsten Baum+3 more|arXiv (Cornell University)|Feb 13, 2018

Adversarial Robustness in Machine Learning被引用数 165

ひとこと要約

本論文は、強力なバックドアを埋め込むことによるディープニューラルネットワークのブラックボックス・ウォーターマーク手法を提案し、所有権の検証の正確性・不可削除性・不可偽造性を保証する暗号学的枠組みを提供する。

ABSTRACT

Deep Neural Networks have recently gained lots of success after enabling several breakthroughs in notoriously challenging problems. Training these networks is computationally expensive and requires vast amounts of training data. Selling such pre-trained models can, therefore, be a lucrative business model. Unfortunately, once the models are sold they can be easily copied and redistributed. To avoid this, a tracking mechanism to identify models as the intellectual property of a particular vendor is necessary. In this work, we present an approach for watermarking Deep Neural Networks in a black-box way. Our scheme works for general classification tasks and can easily be combined with current learning algorithms. We show experimentally that such a watermark has no noticeable impact on the primary task that the model is designed for and evaluate the robustness of our proposal against a multitude of practical attacks. Moreover, we provide a theoretical analysis, relating our approach to previous work on backdooring.

研究の動機と目的

• MLaaSにおける訓練済みニューラルネットワークの所有権検証を可能にしてモデル再配布のリスクを動機づけて対処する。
• モデル精度を維持しつつ検出可能なウォーターマークを埋め込むブラックボックス・ウォーターマーキング法を提案する。
• ウォーターマーキングとバックドーロを結びつける暗号的形式化を提供し、不可削除性・不可偽造性などのセキュリティ特性を分析する。
• コミットメントを用いて privately verifiable（および潜在的には publicly verifiable）な所有証明を達成する方法を示す。

提案手法

• ML におけるバックドアをトリガー集合の制御された誤ラベリングとして定義し、ウォーターマーキングの堅牢性要件を強力なバックドアとして形式化する。
• 強力なバックドローイング機構と統計的に隠蔽されたコミットメントから、KeyGen・Mark・Verify 手続きを介してウォーターマーキング手法を構築する。
• SampleBackdoor を用いてトリガー集合を生成し、それをコミットメントでエンコードして検証キーを形成する。Backdoor ルーチンを通じてバックドアを埋め込み、トリガーラベルとコミットメント開示の検証を行って判定する。
• 正確性、機能保持挙動、非自明な所有、不可削除性、不可偽造性を暗号学的前提の下で証明する。
• プライベート対公開検証の拡張や、トリガー集合サイズとデプロイ時の実務的配慮について論じる。

実験結果

リサーチクエスチョン

• RQ1 バックドアリングの原理をどのように活用して、主タスクの性能を劣化させずにニューラルネットワークにウォーターマークを付与できるか？
• RQ2 ウォーターマーク済みモデルの所有証明を安全で検証可能にする暗号ツール（例：コミットメント）は何か？
• RQ3 水印が除去、偽造、敵対的改変に対してどの条件で堅牢性を保つのか？
• RQ4 繰り返しまたは無限の検証でウォーターマーク検証を私的・公的に可能にする道はあるか？

主な発見

• 堅牢なバックドアを埋め込み、暗号的コミットメントを用いて所有権の検証を行っても精度を損なわないという堅牢なウォーターマーク方法が達成できる。
• 本構成は、前述の暗号学的仮定の下で正確性、機能保持挙動、非自明な所有、不可削除性、不可偽造性を提供する。
• この枠組みはプライベート検証をサポートし、複数のバックドアや高度な検証プロトコルを通じて公的検証可能性へ向かう道筋を概説する。