[論文レビュー] Proof-of-Learning is Currently More Broken Than You Think

Congyu Fang, Hengrui Jia+6 more|arXiv (Cornell University)|Aug 6, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿は、証明の学習（PoL）がその検証メカニズムにおける構造的脆弱性により根本的に不安全であることを示しており、悪意ある攻撃者が正規の学習のコストの僅か数パーセントで有効な証明を生成できることを明らかにしている。著者らは、勾配更新の唯一性およびノイズ耐性に関するPoLの仮定に根本的な欠陊を特定し、既存のスプーフィング攻撃が単に実行可能であるのではなく、構造的に利用可能であることを証明している。

ABSTRACT

Proof-of-Learning (PoL) proposes that a model owner logs training checkpoints to establish a proof of having expended the computation necessary for training. The authors of PoL forego cryptographic approaches and trade rigorous security guarantees for scalability to deep learning. They empirically argued the benefit of this approach by showing how spoofing--computing a proof for a stolen model--is as expensive as obtaining the proof honestly by training the model. However, recent work has provided a counter-example and thus has invalidated this observation. In this work we demonstrate, first, that while it is true that current PoL verification is not robust to adversaries, recent work has largely underestimated this lack of robustness. This is because existing spoofing strategies are either unreproducible or target weakened instantiations of PoL--meaning they are easily thwarted by changing hyperparameters of the verification. Instead, we introduce the first spoofing strategies that can be reproduced across different configurations of the PoL verification and can be done for a fraction of the cost of previous spoofing strategies. This is possible because we identify key vulnerabilities of PoL and systematically analyze the underlying assumptions needed for robust verification of a proof. On the theoretical side, we show how realizing these assumptions reduces to open problems in learning theory.We conclude that one cannot develop a provably robust PoL verification mechanism without further understanding of optimization in deep learning.

研究の動機と目的

• 証明の学習（PoL）が深層学習のトレーニング整合性を検証する暗号的でない手法として、どれほど頑健であるかを調査すること。
• スプーフィング攻撃を可能にするPoLの検証メカニズムにおける構造的弱みを同定し、低コストでの攻撃を実行すること。
• 従来のスプーフィング戦略が再現不可能であるか、ハイパーパrameterの調整によって容易に防がれることがあることから、それらの評価に欠陥があることを示すこと。
• PoL検証の背後にある仮定を形式化し、それらの満たしが深層学習最適化理論における未解決問題に還元されることを示すこと。
• 暗号的コミットメントとタイムスタンピングを組み合わせたハイブリッド手法を提案し、PoLの優先順位保証を強化すること。

提案手法

• PoLの二重の役割を体系的に分析する：(1) 有効なトレーニング軌道の効率的検証、(2) スプーフィングを防ぐための計算的優先順位の確立。
• 深層学習における勾配ノイズの正確なモデルが欠如しているため、検証におけるノイズ耐性が感度と特異性のトレードオフを引き起こしていることを特定する。
• Jiaらが提唱したように、更新の一部のみを検証することにより、攻撃者がどの更新を検証するかを制御できる攻撃表面が生じることを示す。
• 多様なPoL設定で安定して成功する再現可能なスプーフィング戦略を提示し、従来の手法よりもはるかに低いコストで実現可能であることを示す。
• 再送攻撃およびデータ再利用攻撃を防ぐために、トレーニングデータへの暗号的コミットメントとタイムスタンピングを統合する手法を提案する。
• PoLのセキュリティ仮定と深層ニューラルネットワークにおける最適化の現在の理解との間の理論的ギャップを形式化する。

実験結果

リサーチクエスチョン

• RQ1 証明の学習（PoL）に対するスプーフィング攻撃は、異なるPoL設定間で信頼性を持って再現可能であるか、それともハイパーパrameterの変更に対して脆弱であるか？
• RQ2 既存のPoL検証メカニズムは、ノイズ耐性が低く、更新の検証が不完全であるがために、悪意あるスプーフィングをどれほど効果的に防げないか？
• RQ3 PoLのセキュリティの背後にある理論的仮定は何か？ それらは深層学習最適化理論における未解決問題にどのように還元されるか？
• RQ4 データコミットメントやタイムスタンピングといった暗号的プリミティブをPoLに効果的に統合できるか？
• RQ5 学習理論における根本的未解決問題を解消しないまま、証明可能に頑健なPoL検証メカニズムを構築することは可能か？

主な発見

• 著者らは、正規の学習コストの僅か数パーセントで実現可能な、PoLにおける再現可能で多様な設定にわたるスプーフィング戦略を初めて示した。
• Zhangらによる従来のスプーフィング攻撃は、微小なハイパーパrameterの変更によって容易に防がれることが示され、それらが構造的欠陊を露呈するのではなく、脆弱であることが判明した。
• 深層学習トレーニング軌道におけるノイズの正確なモデルが欠如しているため、PoL検証における感度と特異性のトレードオフは最適に解消できない。
• 証明内で更新の一部のみを検証することは、攻撃者がどのステップを検証するかを操作できる攻撃表面を生じさせ、それが悪用可能である。
• PoL検証のセキュリティを形式化することは、最適化および一般化理論における未解決問題に還元され、証明可能な頑健性は現在のところ達成不可能である。
• トレーニングデータへの暗号的コミットメントとタイムスタンピングの統合により、攻撃表面を著しく縮小でき、再送攻撃およびデータ再利用攻撃を防げる。