[논문 리뷰] A Study of Face Obfuscation in ImageNet

Kaiyu Yang, Jacqueline Yau외 3명|arXiv (Cornell University)|2021. 03. 10.

Face recognition and analysis참고 문헌 78인용 수 66

한 줄 요약

이 논문은 ImageNet에서 얼굴 주석을 달고 얼굴 모자이크(블러링 또는 오버레이)가 분류 정확도와 전이 학습 성능에 미치는 영향이 작다는 것을 보여줍니다. 프라이버시 강화 ImageNet 변형을 확립하고 범주- 및 특징 전이 효과를 분석합니다.

ABSTRACT

Face obfuscation (blurring, mosaicing, etc.) has been shown to be effective for privacy protection; nevertheless, object recognition research typically assumes access to complete, unobfuscated images. In this paper, we explore the effects of face obfuscation on the popular ImageNet challenge visual recognition benchmark. Most categories in the ImageNet challenge are not people categories; however, many incidental people appear in the images, and their privacy is a concern. We first annotate faces in the dataset. Then we demonstrate that face obfuscation has minimal impact on the accuracy of recognition models. Concretely, we benchmark multiple deep neural networks on obfuscated images and observe that the overall recognition accuracy drops only slightly (<= 1.0%). Further, we experiment with transfer learning to 4 downstream tasks (object recognition, scene recognition, face attribute classification, and object detection) and show that features learned on obfuscated images are equally transferable. Our work demonstrates the feasibility of privacy-aware visual recognition, improves the highly-used ImageNet challenge benchmark, and suggests an important path for future visual datasets. Data and code are available at https://github.com/princetonvisualai/imagenet-face-obfuscation.

연구 동기 및 목표

• Public visual datasets에서 ImageNet(ILSVRC)에서 보편적으로 등장하는 얼굴에 대해 프라이버시 이슈를 연구하여 동기를 부여한다.
• ILSVRC에 얼굴 주석을 달아 모자이크 및 프라이버시 보호 벤치마크를 가능하게 한다.
• 얼굴 모자이크가 ImageNet 분류 및 전이 학습에 미치는 영향을 정량화한다.
• 모델이 모자이크된 데이터에서 학습된 특징이 하류 태스크로의 전이성에 영향을 주는지 평가한다.
• 프라이버시 인식형 시각 인식 연구를 촉진하는 데이터셋과 방법론을 제공한다.]
• method_tKwds_positions?
• method은 아래와 같이 번역된 텍스트를 포함합니다.

제안 방법

• 자동 탐지(Amazon Rekognition)와 크라우드소싱 정제(Mechanical Turk)를 결합한 2단계 얼굴 주석 파이프라인 개발.
• 블러링 및 오버레이ing 기법을 사용하여 얼굴 모자이크 버전의 ILSVRC 생성.
• 원본 이미지와 모자이크 이미지에서 Top-1 및 Top-5 정확도 측면에서 여러 딥 네트워크를 벤치마크.
• 원본/모자이크 이미지로 사전 학습하고 CIFAR-10, SUN, PASCAL VOC, CelebA의 네 가지 하류 태스크에서 미세조정하여 전이 학습 평가.
• Grad-CAM를 사용한 로컬라이제이션 인사이트로 카테고리별 강건성 분석.
• 프라이버시 인식형 ImageNet 연구를 위한 데이터와 코드 제공

실험 결과

연구 질문

• RQ1 얼굴 모자이크가 일반적인 CNN 아키텍처에서 ImageNet 분류 정확도에 미치는 영향은 어떠한가?
• RQ2 얼굴 모자이크된 ImageNet에서의 사전학습이 객체 인식(CIFAR-10), 장면 인식(SUN), 객체 탐지(PASCAL VOC), 얼굴 속성 분류(CelebA) 등으로의 전이 성능을 보존하는가?
• RQ3 얼굴과 겹치는 범주가 모자이크에 더 민감한가, 객체-얼굴 중첩이 성능 저하에 어떤 영향을 미치는가?
• RQ4 프라이버시를 보장하는 모자이크를 대규모 시각 벤치마크에 통합하더라도 유틸리티를 크게 해치지 않는가?

주요 결과

• 얼굴 모자이크는 정확도 하락을 매우 작게 만든다: Top-1 및 Top-5 감소는 방법 및 모델에 따라 일반적으로 0.1%–1.0% 이내이다.
• 1000개의 ImageNet 카테고리 전체에서 모자이크로 인한 평균 정확도 하락은 블러링과 오버레이 모두에서 1% 미만이다.
• 얼굴 모자이크 이미지로의 사전학습은 객체 인식(CIFAR-10), 장면 인식(SUN), 객체 탐지(PASCAL VOC), 얼굴 속성 분류(CelebA)에서 원본 이미지로의 사전학습과 비교해도 전이 성능이 비슷하다.
• 얼굴과 겹치는 카테고리(예: 마스크, 하모니카)는 모자이크하에서 더 큰 degradation을 보이며 흐림 얼굴 부분의 비율과 정확도 저하 간의 상관관계가 있다(Top-5 r≈0.46, p≈2.69e-49).
• Grad-CAM 분석은 모자이크 이미지가 대상 객체에 대한 모델의 주의 집중을 감소시켜 일부 카테고리별 하락을 설명한다.
• 시각적으로 유사한 카테고리 간의 차이가 모자이크 하에서 크게 나타나지만 Top-5 정확도나 평균 정밀도 평가에서 이를 크게 완화한다