[논문 리뷰] Data Poisoning Won't Save You From Facial Recognition

Evani Radiya-Dixit, Hong, Sanghyun외 2명|arXiv (Cornell University)|2021. 06. 28.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 사용자가 얼굴 인식 기술에 대비해 보호를 제공하는 데이터 풀링 방어 기법들 — Fawkes 및 LowKey와 같은 — 가 본질적으로 결함이 있음을 입증한다. 그 이유는 왜곡된 이미지가 스クラ핑된 후에는 업데이트가 불가능하여, 모델 트레이너가 적응형 학습 또는 향후 모델을 통해 방어를 우회할 수 있기 때문이다. 핵심 결과는 이러한 방어 기법이 향후 또는 적응형 얼굴 인식 시스템에 대해 효과가 없으며, 사용자에게 잘못된 안전감을 줌으로써 위험한 오해를 낳는다는 것이다.

ABSTRACT

Data poisoning has been proposed as a compelling defense against facial recognition models trained on Web-scraped pictures. Users can perturb images they post online, so that models will misclassify future (unperturbed) pictures. We demonstrate that this strategy provides a false sense of security, as it ignores an inherent asymmetry between the parties: users' pictures are perturbed once and for all before being published (at which point they are scraped) and must thereafter fool all future models -- including models trained adaptively against the users' past attacks, or models that use technologies discovered after the attack. We evaluate two systems for poisoning attacks against large-scale facial recognition, Fawkes (500'000+ downloads) and LowKey. We demonstrate how an "oblivious" model trainer can simply wait for future developments in computer vision to nullify the protection of pictures collected in the past. We further show that an adversary with black-box access to the attack can (i) train a robust model that resists the perturbations of collected pictures and (ii) detect poisoned pictures uploaded online. We caution that facial recognition poisoning will not admit an "arms race" between attackers and defenders. Once perturbed pictures are scraped, the attack cannot be changed so any future successful defense irrevocably undermines users' privacy.

연구 동기 및 목표

• 데이터 풀링 방어 기법이 얼굴 인식에서 제공하는 보안 보장을 조사하는 것.
• 데이터를 풀링하는 사용자와 이를 적응적으로 대응할 수 있는 모델 트레이너 사이의 본질적 비대칭성을 드러내는 것.
• 최신 기술인 Fawkes 및 LowKey와 같은 풀링 시스템이 향후 또는 적응형 얼굴 인식 모델에 대해 얼마나 견딜 수 있는지 평가하는 것.
• 모델 트레이너가 공격에 대한 블랙박스 액세스를 통해 풀링된 이미지를 탐지하고 저지할 수 있음을 보여주는 것.
• 데이터 풀링이 지속 가능한 무기 경쟁이 될 수 없으며, 개인정보 보호를 위해 의존해서는 안 된다는 주장을 펼치는 것.

제안 방법

• 사용자(공격자)와 모델 트레이너(방어자) 간의 동적 상호작용을 수식화하기 위해 보안 게임을 정의하는 것.
• 기존의 왜곡에 강건한 것으로 알려진 재학습 전략을 사용해 Fawkes 및 LowKey의 효과를 평가하는 것.
• 공격에 대한 블랙박스 액세스를 활용해 이전에 스캐린된 이미지의 왜곡을 저지하는 데 강건한 얼굴 인식 모델을 학습하는 것.
• 최신 얼굴 인식 모델들 — MagFace 및 CLIP를 미세조정한 모델들 — 이 Fawkes 및 LowKey에서 사용된 특정 왜곡을 자연스럽게 저항하는 것을 보여주는 것.
• 모델 트레이너가 미래의 컴퓨터 비전 기술 발전을 기다렸다가 과거에 스캔된 데이터를 대상으로 재학습하여 왜곡을 무시하는 모델을 후속적으로 만들 수 있음을 보여주는 것.
• 공격 및 방어를 재현할 수 있도록 코드를 구현하고 공개하여 검증 및 향후 연구를 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 모델 트레이너는 사전에 스캔된 이미지에 대해 적응형 학습 전략을 사용해 데이터 풀링 방어 기법을 우회할 수 있는가?
• RQ2 Fawkes 및 LowKey와 같은 최신 기술의 풀링 시스템은 새로운 아키텍처나 학습 기법을 사용하는 향후 얼굴 인식 모델에 대해 여전히 효과가 있는가?
• RQ3 풀링 방법에 대한 블랙박스 액세스만을 가진 모델 트레이너가 스캔된 이미지의 왜곡을 저지하는 데 강건한 모델을 학습시킬 수 있는가?
• RQ4 얼굴 인식에서 데이터 풀링과 모델 방어 간에 지속 가능한 무기 경쟁이 존재하는가?
• RQ5 현재의 데이터 풀링 방어 기법이 사용자에게 잘못된 안전감을 줄 정도로 얼마나 큰 영향을 미치는가?

주요 결과

• Fawkes 풀링 공격은 Fawkes 이후 출시된 MagFace 모델에 대해 효과가 없으며, 이는 해당 특정 왜곡을 본질적으로 저항하기 때문이다.
• LowKey 풀링 공격은 LowKey와 같은 시기 출시된 OpenAI의 CLIP에서 미세조정된 얼굴 인식 모델에 대해 실패한다.
• 모델 트레이너는 풀링 방법에 대한 블랙박스 액세스만으로도 왜곡된 이미지의 보호 기능을 효과적으로 무력화하는 강건한 모델을 학습시킬 수 있다.
• ‘무지한’ 모델 트레이너는 미래의 컴퓨터 비전 기술 발전을 기다렸다가 과거에 스캔된 데이터를 대상으로 재학습하여 왜곡을 무시하는 모델을 후속적으로 만들 수 있다.
• 논문은 데이터 풀링이 이미지 스캐닝의 불가역성과 트레이너의 적응 능력으로 인해 장기적인 개인정보 보호를 제공할 수 없다는 것을 입증한다.
• 저자들은 데이터 풀링이 실질적인 방어 수단이 아니며, 얼굴 인식에 대한 법적 제재가 개인정보 보호를 위한 유일한 지속 가능한 길이라고 결론 내린다.