[논문 리뷰] Does Image Anonymization Impact Computer Vision Training?

Håkon Hukkelås, Frank Lindseth|arXiv (Cornell University)|2023. 06. 08.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 BDD100K, Cityscapes, COCO 데이터셋에서 얼굴 및 전신 익명화를 통한 기존 및 현실적인 이미지 익명화가 컴퓨터 비전 모델 훈련에 미치는 영향을 조사한다. 현실적인 익명화 방법은 기존의 흐림 처리보다 성능 저하를 훨씬 덜 유발함을 발견하였으며, 특히 얼굴 관련 작업에서는 뚜렷한 우월성을 보였다. 그러나 전신 익명화는 현실적인 방법을 사용하더라도 여전히 성능 저하가 심각하게 발생함을 확인하였다.

ABSTRACT

Image anonymization is widely adapted in practice to comply with privacy regulations in many regions. However, anonymization often degrades the quality of the data, reducing its utility for computer vision development. In this paper, we investigate the impact of image anonymization for training computer vision models on key computer vision tasks (detection, instance segmentation, and pose estimation). Specifically, we benchmark the recognition drop on common detection datasets, where we evaluate both traditional and realistic anonymization for faces and full bodies. Our comprehensive experiments reflect that traditional image anonymization substantially impacts final model performance, particularly when anonymizing the full body. Furthermore, we find that realistic anonymization can mitigate this decrease in performance, where our experiments reflect a minimal performance drop for face anonymization. Our study demonstrates that realistic anonymization can enable privacy-preserving computer vision development with minimal performance degradation across a range of important computer vision benchmarks.

연구 동기 및 목표

• 감지, 인스턴스 세그멘테이션, 자세 추정과 같은 핵심 컴퓨터 비전 작업에서 기존 및 현실적인 이미지 익명화 방법의 영향을 평가하기 위해.
• 생성 모델을 사용해 신원을 합성하는 현실적인 익명화가 기존의 왜곡(예: 흐림 처리, 마스킹)보다 데이터 유용성을 더 잘 유지할 수 있는지 조사하기 위해.
• 개인정보 보호를 위해 필수적인 전신 익명화가 모델 훈련 환경에서 아직 충분히 탐색되지 않은 영향을 평가하기 위해.
• 실제 익명화가 성능 저하를 최소화하면서도 개인정보 보호가 가능한 컴퓨터 비전 개발을 가능하게 할 수 있는지 확인하기 위해.

제안 방법

• BDD100K, Cityscapes, COCO 등의 공개 컴퓨터 비전 데이터셋을 기존 방법(흐림 처리, 마스킹)과 DeepPrivacy2의 생성 모델을 활용한 현실적인 익명화 방식으로 처리하였다.
• ResNet 및 R-CNN 아키텍처를 사용해 익명화된 훈련 데이터로 객체 감지, 인스턴스 세그멘테이션, 관절점 감지 모델을 훈련시켰다.
• 원본의 익명화되지 않은 검증 세트에서 모델 성능을 평가하여 인식 정확도 저하 수준을 측정하였다.
• 자동 탐지기(DSFD를 사용해 얼굴, ViTPose를 사용해 관절점)를 활용해 개인을 식별하고 익명화하였지만, 이 과정에서 애매한 태깅이 발생할 수 있었다.
• 합성된 신원과 전체 이미지의 맥락 간 시각적 불일치를 줄이기 위해 히스토GRAM 균형 조정을 적용하였다.
• 특히 맥락 일관성과 해상도 제약 조건을 고려해 얼굴과 전신의 익명화에 집중하였다.

Figure 3 : DeepPrivacy2 [ 23 ] anonymizes one instance at a time, then paste each synthesized individual into the original image. For our experiments, detection is not performed, as segmentation masks are defined from pre-defined annotations (see Sec. 3.1 ). Note that the generator relies on keypoin

실험 결과

연구 질문

• RQ1 실제 익명화 방법이 흐림 처리나 마스킹과 같은 기존 익명화 방법보다 컴퓨터 비전 모델의 성능을 더 잘 유지하는가?
• RQ2 전신 익명화는 감지, 세그멘테이션, 자세 추정 작업 전반에 걸쳐 모델 성능에 어떤 영향을 미치는가?
• RQ3 얼굴이 다양한 비율로 포함된 데이터셋에서 훈련된 모델의 성능 저하 정도는 얼굴 익명화로 인해 얼마나 심각한가?
• RQ4 실제 익명화 방법이 자율주행 차량 데이터셋에서 성능 저하를 최소화하면서도 개인정보 보호를 달성할 수 있는가?

주요 결과

• COCO 데이터셋에서 얼굴이 더 많이 포함된 상황에서 기존의 흐림 처리를 통한 얼굴 익명화는 관절점 감지 모델의 성능에 심각한 저하를 초래한다.
• 실제 익명화를 통한 얼굴 익명화는 관절점 감지 모델의 성능 저하를 최소 수준으로 줄여 기존 방법보다 뛰어난 성능을 보였다.
• 기존의 흐림 처리를 통한 전신 익명화는 모든 평가된 데이터셋에서 모델 성능에 심각한 영향을 미치며, 특히 감지 및 세그멘테이션 작업에서 뚜렷한 저하가 발생한다.
• 실제 전신 익명화 방법은 기존 방법 대비 성능 저하를 뚜렷이 완화하지만, 얼굴 익명화 수준만큼은 아니며 여전히 성능 저하가 존재한다.
• '라이더'와 '자전거' 클래스의 성능 저하는 익명화 자체 때문이 아니라 감지 오버랩 때문일 가능성이 높으며, 다른 차량 클래스는 영향을 받지 않았다.
• 현재의 생성 모델은 맥락 일치 및 해상도 불일치 문제를 해결하지 못해, 신체가 작거나 정확도가 떨어지는 경우 자연스럽지 않은 결과를 생성한다.

Original