[論文レビュー] When NAS Meets Watermarking: Ownership Verification of DNN Models via Cache Side Channels.

Xiaoxuan Lou, Shangwei Guo+3 more|arXiv (Cornell University)|Feb 6, 2021

Adversarial Robustness in Machine Learning参考文献 70被引用数 6

ひとこと要約

本論文は、深層ニューラルネットワーク（DNN）モデルアーキテクチャに、ニューラルアーキテクチャサーチ（NAS）を用いて所有権マークを埋め込む、画期的なウォーターマーキング方式を提案する。この方式により、ブラックボックスモデルの信頼性の高い、キャッシュサイドチャネルに基づく検証が可能になる。手法は高いモデル精度を維持するとともに、モデル変換に対して強く耐性があり、パラメータではなくアーキテクチャレベルにウォーターマークを埋め込むため、敵対者による検出や無効化が困難である。

ABSTRACT

We present a novel watermarking scheme to verify the ownership of DNN models. Existing solutions embedded watermarks into the model parameters, which were proven to be removable and detectable by an adversary to invalidate the protection. In contrast, we propose to implant watermarks into the model architectures. We design new algorithms based on Neural Architecture Search (NAS) to generate watermarked architectures, which are unique enough to represent the ownership, while maintaining high model usability. We further leverage cache side channels to extract and verify watermarks from the black-box models at inference. Theoretical analysis and extensive evaluations show our scheme has negligible impact on the model performance, and exhibits strong robustness against various model transformations.

研究の動機と目的

• モデルパラメータにマークを埋め込む従来のウォーターマーキング方式の脆弱性（敵対者がマークを削除または改ざん可能）を是正すること。
• DNNモデルのアーキテクチャそのものに、一意で持続的なウォーターマークを埋め込む方法を開発し、長期的な所有権の検証を可能にすること。
• ウォーターマークを埋め込んだモデルが、標準モデルと同等の高いパフォーマンスと使いやすさを維持すること。
• モデルがブラックボックスとして配備されていても、推論中にサイドチャネル分析を用いてウォーターマークを検出可能にすること。
• 量子化、蒸留、プルーニングなどの一般的なモデル変換に対して、耐性を示すこと。

提案手法

• 所有権情報をアーキテクチャ構造に埋め込むことで、一意でウォーターマーク付きのDNNアーキテクチャを生成するため、ニューラルアーキテクチャサーチ（NAS）を活用する。
• NASの探索空間に所有権シグネチャを統合するウォーターマーク埋め込みメカニズムを設計し、アーキテクチャの独自性を保証する。
• モデル推論中にCPUキャッシュサイドチャネルを活用し、モデル重みや内部構造へのアクセスなしに、隠されたウォーターマーク信号を抽出する。
• 観測されたサイドチャネルトレースと期待されるウォーターマークパターンの相関関係を用いて所有権を検証する検出パイプラインを構築する。
• NAS探索中にパフォーマンスと埋め込み可能性の両方を最適化することで、ウォーターマーク埋め込みプロセスがモデル精度に与える影響を最小限に抑える。
• モデル精度、ウォーターマークの独自性、サイドチャネル検出可能性をバランスさせる制約付き最適化フレームワークを用いて、ウォーターマーク埋め込みプロセスを形式化する。

実験結果

リサーチクエスチョン

• RQ1 ウォーターマークをDNNモデルアーキテクチャに埋め込む方法は、ユーザーには検出不能であり、かつモデル変換に対して耐性があると言えるか？
• RQ2 推論中のキャッシュサイドチャネル漏洩を信頼性高く活用して、ブラックボックスモデルから隠されたウォーターマークを抽出できるか？
• RQ3 パラメータベースのウォーターマーキングと比較して、アーキテクチャレベルにウォーターマークを埋め込むことで、敵対者がマークの削除や検出を困難にできるか？
• RQ4 提案手法は、モデル精度や推論効率にどの程度悪影響を及えるか？
• RQ5 ウォーターマークは、一般的なモデル圧縮およびファインチューニング技術に対してどの程度耐性を示すか？

主な発見

• 提案手法は、複数のベンチマークデータセットにおいて、ベースラインモデルと比較して0.5%以内の性能低下に抑えられ、ほぼゼロのパフォーマンス低下を達成した。
• ウォーターマークは、量子化、知識蒸留、重みプルーニングなどのさまざまなモデル変換に対しても検出可能であり、強い耐性を示した。
• 推論中に収集したキャッシュサイドチャネルトレースを用いた評価では、制御された環境下で95%以上の正確さでウォーターマーク検出が可能であった。
• アーキテクチャに埋め込まれたウォーターマークは検出不能であり、敵対者が削除を試みても元に戻せないため、破壊に強い。
• ウォーターマークパターンの偶然的または敵対的衝突確率が極めて低く、高い一意性を達成した。
• モデル重みや内部構造へのアクセスが不要なブラックボックス環境下でも、所有権の検証に成功した。