[논문 리뷰] False Claims against Model Ownership Resolution

Jian Liu, Rui Zhang외 3명|arXiv (Cornell University)|2023. 04. 13.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 기존 모델 소유권 해소(MOR) 기법에 심각한 취약점을 드러낸다: 악성 신고자는 전이 가능한 적대적 예제를 '증거'로 활용해 독립적으로 훈련된 모델의 소유권을 위조로 주장할 수 있다. 저자들은 일반적인 MOR 절차를 일반화하고, 이러한 위조 주장에 저항하는 것이 전이 가능한 적대적 예제를 방지하는 것과 동치임을 증명하며, 실제로 모든 검토된 MOR 기법—아마존의 Rekognition API를 포함하여—실제 조건 하에서 취약함을 입증한다.

ABSTRACT

Deep neural network (DNN) models are valuable intellectual property of model owners, constituting a competitive advantage. Therefore, it is crucial to develop techniques to protect against model theft. Model ownership resolution (MOR) is a class of techniques that can deter model theft. A MOR scheme enables an accuser to assert an ownership claim for a suspect model by presenting evidence, such as a watermark or fingerprint, to show that the suspect model was stolen or derived from a source model owned by the accuser. Most of the existing MOR schemes prioritize robustness against malicious suspects, ensuring that the accuser will win if the suspect model is indeed a stolen model. In this paper, we show that common MOR schemes in the literature are vulnerable to a different, equally important but insufficiently explored, robustness concern: a malicious accuser. We show how malicious accusers can successfully make false claims against independent suspect models that were not stolen. Our core idea is that a malicious accuser can deviate (without detection) from the specified MOR process by finding (transferable) adversarial examples that successfully serve as evidence against independent suspect models. To this end, we first generalize the procedures of common MOR schemes and show that, under this generalization, defending against false claims is as challenging as preventing (transferable) adversarial examples. Via systematic empirical evaluation, we show that our false claim attacks always succeed in the MOR schemes that follow our generalization, including in a real-world model: Amazon's Rekognition API.

연구 동기 및 목표

• 기존의 모델 소유권 해소(MOR) 기법에서 간과된 강건성 위협을 특정하고 분석하는 것: 악성 신고자가 자신의 소스 모델에서 파생되지 않은 독립적으로 훈련된 모델에 대해 위조 소유권을 주장하는 것.
• 전이 가능한 적대적 예제를 사용해 위조 주장이 체계적으로 생성될 수 있음을 보여주는 것: 이는 검증 절차를 속이는 데 사용된다.
• 실제 구현 사례인 아마존 Rekognition와 같은 주요 MOR 기법들조차도 현실적인 설정 하에서 이러한 공격에 취약함을 보여주는 것.
• 위조 주장이 전이 가능한 적대적 예제를 방지하지 않는 한 피할 수 없게 되는 일반적인 MOR 절차 프레임워크를 수립하는 것.
• 이 새로운 유형의 공격에 대비한 MOR 기법의 강화 방법을 제안하는 것과 동시에, 잠재적 대응 조치의 높은 비용을 인정하는 것.

제안 방법

• 신고자가 트리거 세트를 제출하고, 심판자가 의심스러운 모델에 대한 추론을 통해 소유권을 검증하는 통합 프레임워크로 일반적인 MOR 기법을 일반화한다.
• 협의체 프로토콜을 위반하는 악성 신고자의 위협 모델을 설정: 독립적인 모델에 대해 유효한 트리거로 작동하는 적대적 예제를 조작한다.
• 적대적 예제의 전이성(transferability)을 활용해, 원본에 관계없이 어떤 독립적 모델이든 높은 활성화를 유도하는 트리거 세트를 생성한다.
• CIFAR-10, ImageNet 및 아마존 Rekognition API를 사용해 16개의 MOR 기법(워터마킹 및 지문 기반 기법 포함)에 대해 공격을 실증적으로 평가한다.
• 공격이 모든 테스트 설정에서 100% 성공률을 보이며, 모델이 독립적으로 훈련되고 소스 모델에 대한 액세스 없이도 효과가 있음을 입증한다.
• 일반적인 대응 조치로는 적대적 방어 기법이나 입력 정제를 제안하지만, 이는 성능 및 구현 비용이 상당할 수 있음을 언급한다.

실험 결과

연구 질문

• RQ1 악성 신고자가 자신의 소스 모델에서 유도되지 않은 독립적으로 훈련된 모델에 대해 성공적으로 위조 소유권을 주장할 수 있는가?
• RQ2 기존의 MOR 기법 설계에 위조 주장에 대한 취약성이 내재되어 있는가, 특히 검증을 위해 트리거 세트를 사용하는 기법들에 대해?
• RQ3 적대적 예제의 전이성은 다양한 MOR 기법과 실제 모델들 사이에서 위조 주장의 가능성을 어느 정도까지 증가시키는가?
• RQ4 전이 가능한 적대적 예제를 방지하지 않는 한, 위조 주장에 대한 MOR 기법의 강건성을 보장할 수 있는가?
• RQ5 이 취약성은 법적 및 실제 모델 소유권 해소 시스템의 구현에 어떤 실질적 영향을 미치는가?

주요 결과

• 워터마킹, 지문 기반, 학습 증명 기반 기법을 포함한 모든 검토된 MOR 기법이 악성 신고자의 위조 주장에 취약하다.
• 모델이 독립적으로 훈련되고 소스 모델에 대한 액세스 없이도, 테스트한 모든 현실적인 설정에서 공격가 100% 성공률을 기록한다. 아마존의 Rekognition API를 포함하여.
• 공격가 성공하는 이유는 전이 가능한 적대적 예제를 사용해 유효한 트리거처럼 행동하는 트리거 세트를 조작할 수 있기 때문이다. 이는 독립적 모델이 자신의 소스 모델에서 유도된 것처럼 반응하게 만든다.
• 취약성은 검증 절차가 트리거 세트에 대한 모델 추론에 의존하는 일반적인 MOR 기법의 아키텍처에 기인한다. 이는 적대적 조작에 취약하다.
• 핵심 통찰은 위조 주장에 대비한 방어가 전이 가능한 적대적 예제를 방지하는 것만큼 어렵다는 점이며, 이는 강건한 머신러닝 분야에서 오랫동안 미해결 과제로 남아 있다.
• 일반적인 대응 조치는 존재하지만, 일반적으로 상당한 계산 비용 또는 구현 비용을 수반하여 실질적으로 문제를 해결하지 못한다.