[論文レビュー] Non-Transferable Learning: A New Approach for Model Ownership Verification and Applicability Authorization

Lixu Wang, Shichao Xu+3 more|arXiv (Cornell University)|Jun 13, 2021

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿では、ドメイン固有の特徴を学習することで、深層学習モデルが特定のデータドメインでのみ高い性能を発揮するように制限する、非移転的学習（NTL）という新規手法を提案する。これにより、モデル所有権の堅牢な検証とデータ中心の適用許可が可能になる。NTLは最先端のウォーターマーク削除攻撃に耐性を示し、不正なデータに対してモデル性能が著しく低下する。MNIST、CIFAR10、STL10、VisDAのデータセットにおいて、ハイパーパramータの変化に関わらず一貫した結果が得られ、検証された。

ABSTRACT

As Artificial Intelligence as a Service gains popularity, protecting well-trained models as intellectual property is becoming increasingly important. There are two common types of protection methods: ownership verification and usage authorization. In this paper, we propose Non-Transferable Learning (NTL), a novel approach that captures the exclusive data representation in the learned model and restricts the model generalization ability to certain domains. This approach provides effective solutions to both model verification and authorization. Specifically: 1) For ownership verification, watermarking techniques are commonly used but are often vulnerable to sophisticated watermark removal methods. By comparison, our NTL-based ownership verification provides robust resistance to state-of-the-art watermark removal methods, as shown in extensive experiments with 6 removal approaches over the digits, CIFAR10 & STL10, and VisDA datasets. 2) For usage authorization, prior solutions focus on authorizing specific users to access the model, but authorized users can still apply the model to any data without restriction. Our NTL-based authorization approach instead provides data-centric protection, which we call applicability authorization, by significantly degrading the performance of the model on unauthorized data. Its effectiveness is also shown through experiments on the aforementioned datasets.

研究の動機と目的

• AI as a Service (AIaaS)における高品質に訓練された深層学習モデルを知的財産として保護する急増するニーズに対応すること。
• 微調整や再訓練を活用する洗練されたウォーターマーク削除攻撃に対して脆弱である、従来の所有権検証手法の限界を克服すること。
• ユーザー固有の鍵に依存せず、特定のデータドメインに限定してモデル使用を制限する「適用許可」の新しい形を導入すること。
• ドメイン固有の特徴学習によって一般化範囲を狭め、モデルのドメイン間非移転性を実現する手法を開発すること。
• NTLがウォーターマーク削除攻撃およびドメイン適応攻撃の両方に対して堅牢であることを示し、長期的なモデル保護を確保すること。

提案手法

• NTLは2つのバージョンを導入する：ターゲット指定型NTL（目標ドメインが事前に分かっており、それを補助ドメインとして用いて元のドメインからの表現距離を拡大する）
• ソースオンリーモードNTL（ターゲットドメインが不明な場合に、生成的敵対的増幅フレームワークを用いて補助ドメインを生成し、元ドメインと補助ドメインのドメイン差を拡大する）
• 複数のガウスカーネルを用いた最大平均差分（MMD）を用いてドメインシフトを測定・最小化する。バンド幅はパラメータ mul と num で制御される。
• NTLは、モデルがソースドメイン固有の特徴を学習しながら、補助ドメインへの移転性を抑制するように最適化することで、一般化を制限する。
• 所有権検証のため、補助ドメインにおける誤分類行動をウォーターマークとして埋め込み、モデル操作中に深刻な忘れを防ぐ。
• 適用許可のため、モデルはソースドメイン以外のいかなるドメインに対しても著しく性能を低下させるように訓練される。これにより、許可されたデータに限定した使用が実現される。

実験結果

リサーチクエスチョン

• RQ1 特定ドメインに非移転的である一方で、ソースドメインでは高い性能を維持できる深層学習モデルを構築できるか？
• RQ2 NTLは、微調整や再訓練を活用する最先端のウォーターマーク削除技術に対して、どの程度効果的に耐性を示すか？
• RQ3 NTLは、ユーザー固有の鍵に依存せず、不正なデータドメインでのモデル性能を著しく低下させることで、データ中心の承認を提供できるか？
• RQ4 MMDに基づくドメイン差分測定における異なるカーネルバンド幅設定下でも、NTLの性能は安定しているか？
• RQ5 NTLは、モデルデプロイメントにおけるバックドア攻撃やユニバーサル汚染攻撃の実行または防御に利用できるか？

主な発見

• NTLを用いた所有権検証は、MNIST、CIFAR10、STL10、VisDAの全データセットで、6種類の最先端ウォーターマーク削除手法に対して成功裏に耐性を示し、高い検証精度を維持した。
• 全評価データセットにおいて、NTLを用いた適用許可は、不正なデータに対してモデル性能を80%以上低下させつつ、許可されたソースデータでは90%以上の精度を維持した。
• MMD計算における異なる mul と num パラメータ設定下でも、NTLの性能は安定しており、一貫した結果が得られた。
• VGG-19を用いた実験から、NTLは異なるネットワークアーキテクチャに対しても強い有効性を示し、広範な適用可能性を確認した。
• NTLは、ターゲット固有の誤分類行動を埋め込むことでバックドア攻撃を実行可能であり、また、モデル一般化を制限することでソースフリーのドメイン適応手法に対しても防御可能である。