[論文レビュー] You are caught stealing my winning lottery ticket! Making a lottery ticket claim its ownership

Xuxi Chen, Tianlong Chen+2 more|arXiv (Cornell University)|Oct 29, 2021

Adversarial Robustness in Machine Learning被引用数 10

ひとこと要約

本稿では、反復的マグニチュードプルーニングによって発見されるスパースで高性能なサブネットワーク（「勝利のロトスティック」）を保護するための新規手法を提案する。この手法は、スパースな構造的接続性にユーザー固有の署名を埋め込むことで、白ボックスおよびブラックボックスの両設定下でも、プルーニング、ファインチューニング、曖昧化攻撃に対して耐性を示しながら、モデルの精度を維持したまま、信頼性の高い所有権の検証を可能にする。

ABSTRACT

Despite tremendous success in many application scenarios, the training and inference costs of using deep learning are also rapidly increasing over time. The lottery ticket hypothesis (LTH) emerges as a promising framework to leverage a special sparse subnetwork (i.e., winning ticket) instead of a full model for both training and inference, that can lower both costs without sacrificing the performance. The main resource bottleneck of LTH is however the extraordinary cost to find the sparse mask of the winning ticket. That makes the found winning ticket become a valuable asset to the owners, highlighting the necessity of protecting its copyright. Our setting adds a new dimension to the recently soaring interest in protecting against the intellectual property (IP) infringement of deep models and verifying their ownerships, since they take owners' massive/unique resources to develop or train. While existing methods explored encrypted weights or predictions, we investigate a unique way to leverage sparse topological information to perform lottery verification, by developing several graph-based signatures that can be embedded as credentials. By further combining trigger set-based methods, our proposal can work in both white-box and black-box verification scenarios. Through extensive experiments, we demonstrate the effectiveness of lottery verification in diverse models (ResNet-20, ResNet-18, ResNet-50) on CIFAR-10 and CIFAR-100. Specifically, our verification is shown to be robust to removal attacks such as model fine-tuning and pruning, as well as several ambiguity attacks. Our codes are available at https://github.com/VITA-Group/NO-stealing-LTH.

研究の動機と目的

• 勝利のロトスティックが高性能かつ計算コストが低いため、その知的財産を保護する急増するニーズに対応すること。
• 性能や構造的整合性を損なわせることなく、ロトスティックの所有権を検証可能な方法を開発すること。
• プルーニングやファインチューニングに対して inherently 耐性を持つ、スパースなトポロジカル構造を所有権検証のための強固な資格証として活用することの検討。
• モデルプルーニング、ファインチューニング、ノイズ注入といった一般的な攻撃に対して耐性を持つ署名埋め込みメカニズムの設計。
• トレiggersetベースの手法と統合することで、ホワイトボックスおよびブラックボックスの両設定での検証を可能にすること。

提案手法

• グラフベースの署名生成技術を用いて、勝利のロトスティックのマスクのスパースな接続パターンにユーザー固有の署名を埋め込む。
• プルーニングされた重み行列内に署名をQRコード形式でエンコードし、元のスパース性とモデル性能を保持する。
• 検証時に、たとえ攻撃を受けた後でも正しくマスク構造を特定・検証できるスコア関数（例：OMP）を用いる。
• 構造的署名とトレiggersetベースの手法を組み合わせることで、ホワイトボックスおよびブラックボックスの両検証フレームワークをサポートする。
• QRコード設計におけるアライメントパターンとバージョンパターンを活用し、インサイダー攻撃に対しても偽造を防止する。
• 評価時にノイズ注入およびプルーニング攻撃を適用し、埋め込み署名の耐性を検証する。

実験結果

リサーチクエスチョン

• RQ1 勝利のロトスティックのスパースな構造的パターンは、所有権検証のための信頼性があり、強固な資格証として機能するか？
• RQ2 スパースマスクへのユーザー固有の署名の埋め込みは、モデル性能の劣化やスパarsityの変更なしに行えるか？
• RQ3 ファインチューニング、プルーニング、ノイズ注入といった一般的な攻撃に対して、埋め込み署名は耐性を示すか？
• RQ4 検証メカニズムはホワイトボックスおよびブラックボックスの両設定で効果的に機能するか？
• RQ5 構造的スパース性が、署名の偽造または削除の可能性に与える影響は何か？

主な発見

• 提案手法は、CIFAR-10およびCIFAR-100におけるResNet-20、ResNet-18、ResNet-50モデルのスパースマスクにQRコード署名を効果的に埋め込み・抽出でき、性能劣化は最小限に抑えられた。
• 10%のプルーニング後でも、マスクに埋め込まれたQRコードは「signature」や「simçi@5re」などの意味のある文字列に正しくデコード可能であり、構造的変更に対しても耐性を示す。
• 20%のプルーニング後でも、「sigiature」といった部分的なデコードが可能であり、中程度のスパースネス変更に対しても耐性があることが確認された。
• ランダムなキーマスク攻撃に対しては、性能が著しく低下（例：1%以上の差異）するため、ブルートフォースによる偽造攻撃に対して強いセキュリティを示した。
• 1%未満のノイズ率の追加ノイズ攻撃では署名デコードに影響がなく、1%を超えるノイズ率では性能劣化が1%の閾値を超えるため、汚染攻撃に対しても耐性があることが証明された。
• 偽の署名に置き換えるインサイダー攻撃では、ResNet-20でテスト精度が91.37%から57.00%に50%低下し、攻撃が現実的でないことが示された。