[논문 리뷰] Fawkes: Protecting Personal Privacy against Unauthorized Deep Learning Models

Shawn Shan, Emily Wenger외 4명|arXiv (Cornell University)|2020. 02. 19.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 14

한 줄 요약

Fawkes는 개인 사진에 인식할 수 없는 픽셀 수준의 '클로킹'을 삽입함으로써 개인이 무단으로 얼굴 인식 모델에 노출되는 것을 방지하는 프라이버시 보호 시스템이다. 이 클로킹은 훈련된 얼굴 인식 모델이 사용자를 잘못 식별하도록 유도하여, 모델 추론에 대해 95% 이상의 보호율을 달성하고, 정제된 이미지가 泄露된 경우에도 80%의 성공률을 기록하며, 최신 기술 수준의 서비스에 대해서는 100%의 효과를 보인다.

ABSTRACT

Today's proliferation of powerful facial recognition systems poses a real threat to personal privacy. As this http URL demonstrated, anyone can canvas the Internet for data and train highly accurate facial recognition models of individuals without their knowledge. We need tools to protect ourselves from potential misuses of unauthorized facial recognition systems. Unfortunately, no practical or effective solutions exist. In this paper, we propose Fawkes, a system that helps individuals inoculate their images against unauthorized facial recognition models. Fawkes achieves this by helping users add imperceptible pixel-level changes (we call them cloaks) to their own photos before releasing them. When used to train facial recognition models, these cloaked images produce functional models that consistently cause normal images of the user to be misidentified. We experimentally demonstrate that Fawkes provides 95+% protection against user recognition regardless of how trackers train their models. Even when clean, uncloaked images are leaked to the tracker and used for training, Fawkes can still maintain an 80+% protection success rate. We achieve 100% success in experiments against today's state-of-the-art facial recognition services. Finally, we show that Fawkes is robust against a variety of countermeasures that try to detect or disrupt image cloaks.

연구 동기 및 목표

• 공개적으로 이용 가능한 이미지로 훈련된 무단 얼굴 인식 모델의 증가하는 위협에 대응하기 위해.
• 기존 얼굴 인식 시스템에 대한 수정 없이도 사용자가 제어할 수 있는 실용적인 방어 수단을 개발하기 위해.
• 클로킹된 이미지가 정상적인 사용에는 기능을 유지하면서도 무단 모델의 성능을 떨어뜨리는 것을 보장하기 위해.
• 적대적 대응 조치에 의해 클로킹이 탐지되거나 제거되는 것을 방지하기 위해 강건성을 확보하기 위해.

제안 방법

• 사용자는 공개 배포 전에 개인 이미지에 인식할 수 없는 픽셀 수준의 변형, 즉 '클로킹'을 적용한다.
• 클로킹된 이미지를 사용해 얼굴 인식 모델을 훈련시키며, 이때 정제된, 클로킹되지 않은 이미지가 제시될 경우 사용자를 잘못 식별하도록 만든다.
• 클로킹 과정은 인간 관찰자에게 감지되지 않으며 일반적인 이미지 변환에 대해 저항력이 있다.
• 시스템은 클로킹된 이미지가 의미적으로 타당하고, 소셜 미디어와 같은 일반적인 응용 프로그램에서 사용 가능하도록 보장한다.
• Fawkes는 클로킹된 이미지에서만 작동하는 백도어를 삽입하기 위해 모델 오염 기법을 활용한다.
• 클로킹 패턴을 탐지하거나 제거하기 위한 다양한 이미지 전처리 및 적대적 탐지 기법에 대해 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 사용자가 자신의 이미지를 수정함으로써 무단 얼굴 인식 모델의 성능을 떨어뜨리면서도 정상적인 사용에는 영향을 주지 않도록 개인정보를 보호할 수 있는가?
• RQ2 클로킹 기법이 다양한 훈련 및 추론 환경에서 높은 잘못 식별 비율을 유지하는 데 얼마나 효과적인가?
• RQ3 공격자가 동일한 데이터셋에서 정제된, 클로킹되지 않은 이미지를 사용해 모델을 재훈련하더라도 Fawkes가 보호 기능을 유지할 수 있는가?
• RQ4 적대자가 클로킹 패턴을 탐지하거나 제거하려는 노력에 대해 클로킹 메커니즘이 얼마나 강건한가?
• RQ5 Fawkes는 최신 기술 수준의 상용 얼굴 인식 서비스에 대해 강력한 성능을 보일 수 있는가?

주요 결과

• Fawkes는 모든 테스트된 얼굴 인식 모델 훈련 환경에서 사용자 식별에 대해 95% 이상의 보호율을 달성한다.
• 공격자가 훈련 데이터에 정제된, 클로킹되지 않은 이미지를 포함시켜도 Fawkes는 사용자를 잘못 식별하는 데 80% 이상의 성공률을 유지한다.
• 최신 기술 수준의 얼굴 인식 서비스를 대상으로 테스트했을 때 Fawkes는 100%의 효과를 보였다.
• 클로킹 패턴을 탐지하거나 제거하기 위한 다양한 대응 조치에 대해 Fawkes는 강건성을 유지한다.
• 클로킹 기법은 인간에게 인식되지 않으며, 이미지의 시각적 품질이나 사용성에 영향을 주지 않는다.