[논문 리뷰] Can we still avoid automatic face detection?

Michael J. Wilber, Vitaly Shmatikov외 1명|arXiv (Cornell University)|2016. 02. 14.

Face recognition and analysis참고 문헌 19인용 수 5

한 줄 요약

이 논문은 이미지 변환 및 가림 기법을 사용하여 페이스북에서 자동 얼굴 검출을 회피할 수 있는 사생활을 중시하는 사용자가 존재하는지 조사한다. 일반적인 대응 조치로는 흐림 처리, 사생활 안경, 이미지 노이즈 등이 있지만, 최신 검출기들은 COFW 데이터셋에서 조차도 97.8%의 얼굴을 검출한다. 이는 대부분의 전통적 방어 수단이 현대 시스템에 대해 효과가 없다는 것을 시사한다.

ABSTRACT

After decades of study, automatic face detection and recognition systems are now accurate and widespread. Naturally, this means users who wish to avoid automatic recognition are becoming less able to do so. Where do we stand in this cat-and-mouse race? We currently live in a society where everyone carries a camera in their pocket. Many people willfully upload most or all of the pictures they take to social networks which invest heavily in automatic face recognition systems. In this setting, is it still possible for privacy-conscientious users to avoid automatic face detection and recognition? If so, how? Must evasion techniques be obvious to be effective, or are there still simple measures that users can use to protect themselves? In this work, we find ways to evade face detection on Facebook, a representative example of a popular social network that uses automatic face detection to enhance their service. We challenge widely-held beliefs about evading face detection: do our old techniques such as blurring the face region or wearing "privacy glasses" still work? We show that in general, state-of-the-art detectors can often find faces even if the subject wears occluding clothing or even if the uploader damages the photo to prevent faces from being detected.

연구 동기 및 목표

• 기존의 사생활 보호를 위한 이미지 수정 기법이 현대 자동 얼굴 검출 시스템을 효과적으로 회피할 수 있는지 평가하는 것.
• 사생활 보호 안경, 블러링, 이미지 노이즈 등의 가림 기법이 얼굴을 검출에서 숨기는 데 얼마나 효과적인지 평가하는 것.
• 다양한 왜곡 조건 하에서 인간과 기계의 얼굴 검출 성능 간 격차를 이해하는 것.
• 지속적인 얼굴 검출이 사생활을 중시하는 사용자, 예를 들어 폭로자나 활동가에게 미치는 영향을 탐색하는 것.
• 이미지 품질을 떨어뜨리지 않으면서도 검출을 회피할 수 있는 실용적인 이미지 기반 대응 조치를 특정하는 것.

제안 방법

• 얼굴 검출에 미치는 영향을 테스트하기 위해 노이즈 주입, 블러링, 조명 왜곡 등의 다양한 합성 이미지 변환 기법을 적용하였다.
• Labeled Faces in the Wild (LFW) 및 Labeled Faces in the Wild with Faces (COFW) 데이터셋에서 페이스북의 얼굴 검출기 성능을 평가하였다.
• 특정 얼굴 키포인트(예: 코, 입, 눈)의 가림을 기반으로 검출률을 분석하여 취약한 영역을 파악하였다.
• COFW 데이터셋의 키포인트 애너테이션과 가림 플래그를 사용하여 부분적 가림 조건 하에서의 검출 실패 비율을 정량화하였다.
• 실제 환경에서의 대응 조치로 적외선 LED를 장착한 사생활 안경을 테스트하여 검출에 대한 내구성을 평가하였다.
• 친구들의 인식 모델을 활용한 소셜 네트워크 기반 감시 남용 가능성, 예를 들어 개인을 추적하는 데 사용되는 것 등을 탐색하였다.

실험 결과

연구 질문

• RQ1 블러링이나 노이즈 주입과 같은 일반적인 이미지 왜곡 기법이 페이스북에서 자동 얼굴 검출을 신뢰성 있게 방지할 수 있는가?
• RQ2 사생활 안경이나 스카프와 같은 물리적 가림이 최신 얼굴 검출기의 회피에 얼마나 효과적인가?
• RQ3 어느 얼굴 영역을 가리면 현대 얼굴 검출기의 검출 확률을 가장 크게 감소시킬 수 있는가?
• RQ4 소셜 네트워크가 사용자 인식 모델에 암묵적으로 접근할 수 있는 정도가, 명시적 동의 없이도 감시를 가능하게 하는가?
• RQ5 시각적 품질을 유지하면서도 검출을 회피할 수 있도록 이미지 편향을 설계할 수 있는가? 이는 실용적인 사생활 보호 솔루션을 제공할 수 있다.

주요 결과

• 페이스북의 얼굴 검출기는 COFW 훈련 세트에서 조차도 97.8%의 얼굴을 성공적으로 검출하였다. 이는 키포인트가 가려져 있을 경우에도 마찬가지였다.
• 코 끝이 가려진 얼굴 중 61.9%만 검출되었으며, 이는 코 가림이 가장 효과적인 대응 조치 중 하나지만 여전히 부족하다는 것을 시사한다.
• 입 가림은 눈 가림보다 검출 확률을 더 크게 감소시켰으며, 이는 다양한 검출기에서 얼굴 영역의 취약성이 다름을 시사한다.
• 높은 수준의 이미지 노이즈, 블러링, 조명 왜곡 조건에서도 페이스북의 검출기는 여전히 얼굴을 식별할 수 있었으며, 이는 일반적인 이미지 조작에 대한 강건성을 보여준다.
• 적외선 LED를 장착한 사생활 안경도 항상 효과적이지 않았으며, 페이스북의 시스템은 이러한 가면을 뚫고도 얼굴을 검출할 수 있었다.
• 연구 결과 인간과 기계의 얼굴 검출 성능 간 격차가 뚜렷하게 드러났으며, 기계는 인간이 거의 인식하지 못하는 얼굴까지도 검출하고 있었다.