[논문 리뷰] Proof-of-Learning is Currently More Broken Than You Think

Congyu Fang, Hengrui Jia외 6명|arXiv (Cornell University)|2022. 08. 06.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 Proof-of-Learning (PoL)가 검증 메커니즘의 체계적 취약성으로 인해 본질적으로 불안정하다는 것을 입증하며, 악성 공격자가 정상 학습 비용의 일부에 불과한 비용으로도 유효한 증명을 생성할 수 있음을 보여준다. 저자들은 경사 하강 업데이트의 유일성과 노이즈 내성에 대한 PoL의 가정에서 핵심적인 결함을 밝혀내었으며, 기존의 위조 공격이 단지 가능할 뿐 아니라 다양한 설정에서 체계적으로 악용 가능하다는 것을 증명한다.

ABSTRACT

Proof-of-Learning (PoL) proposes that a model owner logs training checkpoints to establish a proof of having expended the computation necessary for training. The authors of PoL forego cryptographic approaches and trade rigorous security guarantees for scalability to deep learning. They empirically argued the benefit of this approach by showing how spoofing--computing a proof for a stolen model--is as expensive as obtaining the proof honestly by training the model. However, recent work has provided a counter-example and thus has invalidated this observation. In this work we demonstrate, first, that while it is true that current PoL verification is not robust to adversaries, recent work has largely underestimated this lack of robustness. This is because existing spoofing strategies are either unreproducible or target weakened instantiations of PoL--meaning they are easily thwarted by changing hyperparameters of the verification. Instead, we introduce the first spoofing strategies that can be reproduced across different configurations of the PoL verification and can be done for a fraction of the cost of previous spoofing strategies. This is possible because we identify key vulnerabilities of PoL and systematically analyze the underlying assumptions needed for robust verification of a proof. On the theoretical side, we show how realizing these assumptions reduces to open problems in learning theory.We conclude that one cannot develop a provably robust PoL verification mechanism without further understanding of optimization in deep learning.

연구 동기 및 목표

• 딥 러닝 학습의 무결성을 검증하는 비암호화 방법으로서 Proof-of-Learning (PoL)의 견고성을 조사하는 것.
• 저비용 위조 공격을 가능하게 하는 PoL의 검증 메커니즘 내의 체계적 결함을 규명하고 악용하는 것.
• 기존의 위조 전략이 재현 불가능하거나 하이퍼파라미터 조정으로 쉽게 차단된다는 점을 입증함으로써 이전 평가의 격차를 드러내는 것.
• PoL 검증의 배경이 되는 가정을 체계화하고, 이러한 가정의 이행이 딥 뉴럴 네트워크 최적화 이론의 열린 문제로 귀결됨을 보여주는 것.
• 암호학적 기여도와 타임스탬프링을 융합한 하이브리드 접근 방식을 제안하여 PoL의 우선권 보장을 강화하는 것.

제안 방법

• PoL의 두 가지 기능을 체계적으로 분석: (1) 유효한 학습 경로의 효율적 검증, (2) 위조 방지를 위한 계산적 우선권 확보.
• 딥 러닝에서 경사 노이즈의 정밀한 모델이 부족하여 검증의 노이즈 내성으로 인해 민감도-특이도 간 상충 관계가 발생함을 규명.
• 제이아 등이 제안한 일부 업데이트만 검증하는 방식이 악성 공격자가 어떤 업데이트가 검증될지를 제어할 수 있는 공격 표면을 유도함을 입증.
• 다양한 PoL 설정에서 성공하고 기존 방법보다 훨씬 낮은 비용으로 작동하는 재현 가능한 위조 전략을 도입.
• 학습 데이터에 대한 암호학적 기여도와 타임스탬프링을 통합하여 재생 및 데이터 재사용 공격을 방지.
• PoL의 보안 가정과 현재 딥 뉴럴 네트워크 최적화 이론에 대한 이해 간 이론적 격차를 체계화.

실험 결과

연구 질문

• RQ1 Proof-of-Learning에 대한 위조 공격은 다양한 PoL 설정 간에 신뢰성 있게 재현 가능한가, 아니면 하이퍼파라미터 변화에 민감한가?
• RQ2 기존 PoL 검증 메커니즘이 낮은 노이즈 내성과 불완전한 검증으로 인해 악성 위조 공격을 얼마나 효과적으로 방지하지 못하는가?
• RQ3 PoL 보안의 배경이 되는 이론적 가정은 무엇이며, 이는 딥 러닝 최적화 이론의 어떤 열린 문제로 귀결되는가?
• RQ4 학습 데이터 기여도와 타임스탬프링과 같은 암호학적 원리를 PoL에 효과적으로 통합할 수 있는가, 이를 통해 우선권 보장을 강화할 수 있는가?
• RQ5 학습 이론의 근본적 열린 문제를 해결하지 않고도 증명 가능한 강건한 PoL 검증 메커니즘을 구축할 수 있는가?

주요 결과

• 저자들은 정상 학습 비용의 일부에 불과한 비용으로도 다양한 설정에서 성공하는 최초의 재현 가능한, 다중 설정에 걸친 PoL 위조 전략을 입증하였다.
• 장 등이 제시한 이전의 위조 공격들은 미세한 하이퍼파라미터 변경으로 쉽게 차단되며, 이는 체계적 결함을 드러내지 못한다는 것을 보여주며, 이는 취약점을 노출하지는 못한다.
• PoL 검증에서 민감도-특이도 간 상충 관계는 딥 러닝 학습 경로에서의 노이즈 정밀 모델이 부족하여 최적의 해결이 불가능하다.
• 증명에서 일부 업데이트만 검증하는 방식은 공격자가 검증 대상이 되는 단계를 조작할 수 있도록 공격 표면을 제공한다.
• PoL 검증의 보안을 체계화하는 것은 최적화 및 일반화 이론의 열린 문제로 귀결되며, 이로 인해 증명 가능한 강건성 확보는 현재로서는 불가능하다.
• 학습 데이터에 대한 암호학적 기여도와 타임스탬프링을 통합하면 공격 표면을 크게 줄이고 재생 및 데이터 재사용 공격을 방지할 수 있다.