[論文レビュー] Digital Passport: A Novel Technological Strategy for Intellectual Property Protection of Convolutional Neural Networks

Lixin Fan, KamWoh Ng+1 more|arXiv (Cornell University)|May 10, 2019

Adversarial Robustness in Machine Learning参考文献 15被引用数 5

ひとこと要約

本論文は、トレーニング中にモデルにデジタルパスポートを埋め込むことで、畳み込みニューラルネットワーク（CNN）の不正使用から保護する画期的な予防戦略であるデジタルパスポート方式を提案する。パスポートが不正または欠落している場合、ネットワークの機能が無効化されるが、有効なパスポートを持つ正当なユーザーに対しては完全な性能が維持され、偽のパスポート攻撃では最大82%の精度低下を引き起こし、有効なパスポートでは元の性能に近い水準を維持する。

ABSTRACT

In order to prevent deep neural networks from being infringed by unauthorized parties, we propose a generic solution which embeds a designated digital passport into a network, and subsequently, either paralyzes the network functionalities for unauthorized usages or maintain its functionalities in the presence of a verified passport. Such a desired network behavior is successfully demonstrated in a number of implementation schemes, which provide reliable, preventive and timely protections against tens of thousands of fake-passport deceptions. Extensive experiments also show that the deep neural network performance under unauthorized usages deteriorate significantly (e.g. with 33% to 82% reductions of CIFAR10 classification accuracies), while networks endorsed with valid passports remain intact.

研究の動機と目的

• 機械学習サービス（MLaaS）環境における、深層ニューラルネットワーク（DNN）の知的財産権保護のための、迅速かつ信頼性のあるニーズに対応すること。
• 既存のデジタルウォーターマーキング技術の限界を克服すること。これらの技術は所有権の事後確認にのみ対応し、法的措置に依存している。
• DNNが有効なデジタルパスポートを持たない状態で使用された場合に、機能を積極的に無効化する汎用的で予防的な保護メカニズムを開発すること。
• 正当なユーザーに対しては高い性能を維持しつつ、不正アクセスや逆設計攻撃に対しては著しく性能が低下するように保証すること。

提案手法

• トレーニング段階で、パスポート層を用いてDNNにデジタルパスポートを埋め込み、パスポートをネットワーク重みに符号化する正則化項を適用する。
• 有効なパスポートの存在が、ネットワークの完全な機能をアンロックするために必要な、段階的な検証プロセスを採用する。
• 画像ベースのパスポートと関数ベースのパスポート（V1, V2, V3）を組み合わせることで、攻撃に対する耐性と保護強度を調整可能にする。
• 白箱攻撃（RevA）を適用して耐性を評価し、元のモデルを回復し、保護を回避しようとする試みをシミュレートする。
• 偽のパスポートや逆設計攻撃の下でどれほど性能が低下するかを定量化するための保護強度指標を導入する。
• パスポート画像を特定可能な実体（例：個人または組織）に関連付けることで、追跡可能性と所有権主張を可能にする。

実験結果

リサーチクエスチョン

• RQ1 有効なパスポートが存在する場合に限り、モデルの機能が完全に維持され、パスポートが欠落または不正である場合には機能が無効化されるように、DNNにデジタルパスポートを埋め込むことは可能か？
• RQ2 大規模な偽パスポート攻撃および逆設計攻撃に対して、デジタルパスポート機構はどれほど効果的か？
• RQ3 パスポート関数（V1, V2, V3）およびパスポートタイプ（例：ランダム画像）の選択が、保護強度と性能の一貫性に与える影響は何か？
• RQ4 埋め込まれたパスポートは、モデルパラメータの漏洩や模倣行為が発生した場合にも、検証可能な所有権マーカーとして機能可能か？
• RQ5 ResNet、VGGNet、AlexNetなどの異なるCNNアーキテクチャおよびCIFAR10、CIFAR100などの異なるデータセットにおいて、パスポート方式の有効性はどの程度保たれるか？

主な発見

• 有効なパスポートを搭載した保護モデルは、元のモデルとほぼ同等のテスト精度を達成しており、例としてCIFAR10におけるResNetでは92.72%の精度を示し、性能低下が最小限に抑えられている。
• 偽のパスポート攻撃では、分類精度が最低1.0%（例：VGGNet）まで低下し、不正ユーザーに対して著しい機能麻痺が確認された。
• V1パスポート関数は脆弱であり、保護強度が最低33%にとどまり、一方V2およびV3関数はより強力な保護を提供し、25～33%の保護強度を達成した。
• 逆設計攻撃（RevA）では、回復されたモデルの最大テスト精度が70%にとどまり、元の92%の精度に比べて著しく低い水準にとどまり、高い計算コストと限られた成功確率が示された。
• CIFAR100では、保護強度が61～71%にわたり、偽パスポートの精度はほぼランダムな推測（1%）に近づいており、データセットをまたがる耐性が確認された。
• 元モデルと保護モデルの間の性能の一貫性は極めて低く、偏差は±4%以内であり、一部のケースでは保護モデルが元のモデルを上回ることもあった（例：VGGNetで+2.7%）。