[논문 리뷰] Fawkes: Protecting Privacy against Unauthorized Deep Learning Models

Shawn Shan, Emily Wenger외 4명|arXiv (Cornell University)|2020. 02. 19.

Adversarial Robustness in Machine Learning참고 문헌 53인용 수 49

한 줄 요약

Fawkes는 사용자의 사진에 지각적으로 보이지 않는 망토를 추가해 무단 얼굴 인식 모델을 오염시키고, 전이 학습과 from-scratch training에서 높은 보호율을 달성합니다. 일반적인 설정에서 95+% 보호를 보이고, 깨끗한 이미지가 노출될 때는 80+%로 유지됩니다.

ABSTRACT

Today's proliferation of powerful facial recognition systems poses a real threat to personal privacy. As Clearview.ai demonstrated, anyone can canvas the Internet for data and train highly accurate facial recognition models of individuals without their knowledge. We need tools to protect ourselves from potential misuses of unauthorized facial recognition systems. Unfortunately, no practical or effective solutions exist. In this paper, we propose Fawkes, a system that helps individuals inoculate their images against unauthorized facial recognition models. Fawkes achieves this by helping users add imperceptible pixel-level changes (we call them "cloaks") to their own photos before releasing them. When used to train facial recognition models, these "cloaked" images produce functional models that consistently cause normal images of the user to be misidentified. We experimentally demonstrate that Fawkes provides 95+% protection against user recognition regardless of how trackers train their models. Even when clean, uncloaked images are "leaked" to the tracker and used for training, Fawkes can still maintain an 80+% protection success rate. We achieve 100% success in experiments against today's state-of-the-art facial recognition services. Finally, we show that Fawkes is robust against a variety of countermeasures that try to detect or disrupt image cloaks.

연구 동기 및 목표

• 무단 얼굴 인식 모델과 개인정보 침해로부터 개인을 보호해야 할 필요성에 대한 동기 부여.
• 사진을 최소한으로 왜곡하는 동시에 트래커의 모델 성능을 저하시키는 이미지 클로킹 시스템(Fawkes)을 제안합니다.
• 이동 학습, from-scratch training 및 대책에 대한 클로크의 견고성 시연합니다.

제안 방법

• 각 사진을 지각적 예산 내에서 교란하여 원본 이미지와의 특징 공간 편차를 최대화하여 이미지-특이적 클로크를 계산합니다.
• 대상 클래스 T와 공개 데이터셋을 사용해 특징 공간의 랜드마크 기반 최적화를 통해 클로크 생성을 유도합니다.
• 지각 왜곡(DSSIM)을 제약하면서 클로크 이미지의 특징과 멀리 떨어진 대상 클래스의 특징 간 거리를 최소화하도록 클로크 교란을 최적화합니다.
• 교란 예산을 강제하고 클로크를 시각적으로 지각 불가능하게 만들기 위해 패널티 방식을 적용합니다.
• 사용자의 이미지와 클래스 중심 간의 최소 특징 공간 거리를 최대화하여 대상 클래스를 선택합니다.
• Trackers가 동일한 사전 학습된 특징 추출기, 다른 추출기, 또는 아무 추출기도 사용하지 않는 시나리오에서 전이 학습 및 scratch 학습을 포함한 상황에서 클로크를 평가합니다.

실험 결과

연구 질문

• RQ1 사람들이 온라인 사진에 클로크를 적용했을 때 무단 모델이 인식하지 못하도록 비교적 신뢰성 있게 막을 수 있는가?
• RQ2 클로크가 서로 다른 특징 추출기 및 모델 학습 방법(전이 학습 vs. 처음부터 학습) 간에 전달되는가?
• RQ3 클로크를 감지하거나 방해하려는 대책에 대해 클로크의 견고성은 얼마인가?
• RQ4 일부 비클로킹 이미지의 누출이 프라이버시 보호에 미치는 영향은?
• RQ5 현대 상용 얼굴 인식 서비스에 대해 Fawkes의 효과는 어느 정도인가?

주요 결과

• 클로킹은 트래커 학습 방법에 상관없이 사용자 인식에 대한 95% 이상 보호를 달성한다.
• 깨끗한 이미지가 유출되더라도 클로킹은 여전히 80+% 보호를 제공한다.
• 클로크는 평가된 설정에서 Microsoft Azure Face API, Amazon Rekognition, Face++에 대해 100% 보호를 달성한다.
• 클로크를 감지하거나 방해하는 다양한 대책 하에서도 클로크는 견고성을 유지한다.
• 다양한 특징 추출기와 데이터셋에 걸쳐, DSSIM ~0.007의 지각 예산까지 허용하더라도 시각적 왜곡은 미미하다.