[논문 리뷰] Adversarial attacks on Copyright Detection Systems

Parsa Saadatpanah, Ali Shafahi외 1명|arXiv (Cornell University)|2019. 06. 17.

Adversarial Robustness in Machine Learning참고 문헌 28인용 수 16

한 줄 요약

이 논문은 YouTube의 Content ID와 AudioTag와 같은 신경망 기반 저작권 검출 시스템이 기울기 기반 변형을 사용한 적대적 공격에 취약하다는 것을 보여준다. 저자들은 단순화된 Shazam 유사 음악 지문 시스템을 미분 가능 신경망으로 모델링하여 청취자에게 인지 가능한 청각적 변형을 생성함으로써 검출을 회피하면서도 인간에게는 인지 가능한 음성 신호를 만들어내었으며, 낮은 노름의 변형을 사용하여 산업용 시스템을 성공적으로 속이는 데 성공했다.

ABSTRACT

It is well-known that many machine learning models are susceptible to adversarial attacks, in which an attacker evades a classifier by making small perturbations to inputs. This paper discusses how industrial copyright detection tools, which serve a central role on the web, are susceptible to adversarial attacks. We discuss a range of copyright detection systems, and why they are particularly vulnerable to attacks. These vulnerabilities are especially apparent for neural network based systems. As a proof of concept, we describe a well-known music identification method, and implement this system in the form of a neural net. We then attack this system using simple gradient methods. Adversarial music created this way successfully fools industrial systems, including the AudioTag copyright detector and YouTube's Content ID system. Our goal is to raise awareness of the threats posed by adversarial examples in this space, and to highlight the importance of hardening copyright detection systems to attacks.

연구 동기 및 목표

• 산업용 저작권 검출 시스템이 적대적 공격에 얼마나 취약한지 조사하기.
• 간단한 수작업 신경망 모델로 구성된 음악 지문 시스템이라도 표준 적대적 훈련 기법을 통해 악용될 수 있음을 보여주기.
• 서로 다른 시스템에 대해 적대적 예제가 성공적으로 전이되는지, 실제 세계 시스템인 AudioTag와 YouTube Content ID에 대해 검증하기.
• 핵심 콘텐츠 제어 시스템에서 적대적 예제가 초래하는 보안 위험에 대한 경각심을 일깨우기.
• 적대적 훈련과 같은 방식을 통해 저작권 검출 시스템의 강건성 향상을 위한 방안을 제안하기.

제안 방법

• TensorFlow를 사용하여 단순화된 Shazam 유사 음악 지문 시스템의 미분 가능 신경망 구현을 수행하였다.
• 기울기 기반 적대적 공격를 적용하여 서rogate 모델의 검출을 최소화하는 변형을 생성하였다.
• 공격 목표는 블랙박스 모델로의 전이성 최대화에 초점을 맞춰 실제 세계 시스템을 회피하도록 설계되었다.
• 청각적 영향을 최소화하면서도 검출을 회피하기 위해 ℓ∞ 및 ℓ2 노름을 사용하여 변형을 최적화하였다.
• 동일한 적대적 예제를 재학습 없이 실제 세계 시스템인 AudioTag와 YouTube Content ID에 테스트하였다.
• 효과성과 청각적 인지 가능성 비교를 위해 랜덤 노이즈를 기준으로 사용하였다.

실험 결과

연구 질문

• RQ1 기울기 기반 적대적 공격가 YouTube Content ID와 AudioTag와 같은 산업용 저작권 검출 시스템을 성공적으로 회피할 수 있는가?
• RQ2 서rogate 모델에서 실제 세계 시스템으로의 적대적 예제의 전이성은 다양한 음악 지문 시스템 간에 어떻게 비교되는가?
• RQ3 검출을 회피하기 위해 필요한 최소한의 변형 크기는 얼마이며, 인간 청취자에게 얼마나 인지 가능한가?
• RQ4 AudioTag와 YouTube Content ID는 적대적 공격에 대해 어떻게 다른 강건성 특성을 보이는가?
• RQ5 랜덤 변형은 적대적 변형에 비해 검출 회피에 얼마나 효과적인가? 이는 시스템 설계에 어떤 함의를 갖는가?

주요 결과

• 서rogate 모델을 사용해 생성한 적대적 음악이 AudioTag와 YouTube Content ID 양쪽 모두의 검출을 성공적으로 회피하여 강력한 전이성과 함께 검증되었다.
• AudioTag는 ℓ∞ 노름 0.03만으로도 공격에 성공했고, YouTube Content ID는 ℓ∞ 노름 0.10이 필요하여 더 높은 강건성을 보였다.
• 랜덤 노이즈는 AudioTag를 속이려면 ℓ∞ 노름 0.12, YouTube Content ID를 속이려면 ℓ∞ 노름 0.32가 필요했으며, 이는 적대적 변형이 랜덤 노이즈보다 훨씬 효과적임을 시사한다.
• 더 큰 변형에도 불구하고 적대적 음성은 인간 청취자에게 여전히 인지 가능한 것으로 나타나, 공격가 실용적이고 도청 가능함을 입증했다.
• AudioTag의 아키텍처가 서rogate 모델과 유사할 가능성이 높아 동일한 공격에 매우 취약한 것으로 설명된다.
• 연구 결과는 저작권 검출 시스템이 특히 신경망 기반일 경우 적대적 공격에 취약하며, 강건성 강화의 필요성을 확인한다.