[논문 리뷰] EgoBlur: Responsible Innovation in Aria

Nikhil Raina, Guruprasad Somasundaram외 13명|arXiv (Cornell University)|2023. 08. 24.

Ethics and Social Impacts of AISocial Sciences인용 수 3

한 줄 요약

EgoBlur는 메타의 아리아 안경에서 촬영한 이고세트릭 비디오 기록을 위한 프라이버시 보장형 익명화 시스템으로, 얼굴과 번호판을 식별하는 FasterRCNN 기반 검출기를 사용한 후, 개인 식별 정보를 음영 처리하기 위해 가우시안 블러를 적용한다. CCV2 데이터셋에서 평균 리콜이 93.8% 이상, 번호판 검출에서는 99.2% 리콜을 기록하여 다양한 실제 환경 조건에서 뛰어난 강건성과 책임감 있는 AI 특성을 입증한다.

ABSTRACT

Project Aria pushes the frontiers of Egocentric AI with large-scale real-world data collection using purposely designed glasses with privacy first approach. To protect the privacy of bystanders being recorded by the glasses, our research protocols are designed to ensure recorded video is processed by an AI anonymization model that removes bystander faces and vehicle license plates. Detected face and license plate regions are processed with a Gaussian blur such that these personal identification information (PII) regions are obscured. This process helps to ensure that anonymized versions of the video is retained for research purposes. In Project Aria, we have developed a state-of-the-art anonymization system EgoBlur. In this paper, we present extensive analysis of EgoBlur on challenging datasets comparing its performance with other state-of-the-art systems from industry and academia including extensive Responsible AI analysis on recently released Casual Conversations V2 dataset.

연구 동기 및 목표

• 아리아 안경에서 촬영한 실제 이고세트릭 비디오 기록물의 개인 식별 정보(PII)를 익명화하기 위한 확장성 있고 프라이버시 중심의 시스템을 개발하는 것.
• 저조도, 가림, 비면대칭 얼굴 등 다양한 인구 통계적 및 환경적 조건에서도 강건한 성능을 확보하는 것.
• 이고세트릭 비디오 스트림에서 차량 번호판 검출 및 익명화를 위한 강력한 기준을 설정하는 것.
• 연령, 성별, 피부 톤, 국적 등의 책임감 있는 AI 속성에 따라 시스템의 공정성과 성능을 평가하는 것.
• 고정된 정확도와 프라이버시 보장을 유지하면서도 기초 객체 검출기를 유연하게 교체할 수 있도록 하는 것.

제안 방법

• 대규모 이미지 코퍼스에서 얼굴 검출을 위해 RetinaFace를 교사 모델로 사용하여 약한 지도 학습 방식을 적용해 가짜 진짜 레이블을 생성하는 방식을 사용하였다.
• Detectron2를 활용해 ResNeXt-101-32x8-FPN 백본을 갖춘 FasterRCNN 기반 객체 검출기를 훈련시켰으며, 장기적인 훈련 스케줄과 증가된 Grayscale 이미지 증강 기법을 적용하였다.
• 검출된 얼굴 및 번호판 영역에 대해 가우시안 블러를 적용하여 PII를 익명화하였으며, 잔여 식별 정보가 남지 않도록 보장하였다.
• 기준 데이터셋 두 개를 수집하고 수동으로 레이블을 붙였으며, CCV2에서 259,656개의 얼굴 바운딩 박스와 Aria Pilot 데이터셋에서 23,242개의 바운딩 박스를 포함하고, 세부 속성(예: 가림, 안경 착용, 저조도)을 포함하였다.
• 얼굴 및 번호판 검출 평가 지표로는 0.5 임계값을 가진 교차 영역 비율(IoU), 평균 정밀도(AP), 평균 리콜(AR)을 사용하였다.
• 다수의 레이블러가 참여한 다수결 투표 방식의 레이블링을 통해 세부 성능 분석을 위한 속성 레이블링의 편향을 최소화하였다.

실험 결과

연구 질문

• RQ1 CCV2 데이터셋에서 다양한 인구 통계적 및 환경적 속성(예: 성별, 피부 톤, 조도 등)을 고려할 때, EgoBlur의 얼굴 검출 성능은 MediaPipe, RetinaFace 등 최첨단 시스템과 비교해 어떻게 되는가?
• RQ2 Aria Pilot 데이터셋에서 가림, 잘린 시야, 저조도, 비면대칭 시야 등 도전적인 이고세트릭 조건에서 EgoBlur의 얼굴 검출 성능은 어떠한가?
• RQ3 일반적이고 작업에 종속되지 않는 FasterRCNN 검출기가 실제 이고세트릭 비디오 환경에서 RetinaFace, MediaPipe와 같은 전용 얼굴 검출기보다 뛰어난 성능을 낼 수 있는가?
• RQ4 실제 아리아 기록물에서 거리, 각도, 시간대 등 다양한 기록 조건에서 EgoBlur의 차량 번호판 검출 성능은 어떠한가?
• RQ5 EgoBlur는 피부 톤, 성별, 국적 등의 인구 통계적 버킷 간에 얼굴 검출 성능에서 공정성과 일관성을 얼마나 유지하는가?

주요 결과

• CCV2 데이터셋에서 EgoBlur는 평균 리콜 93.8%와 평균 정밀도 89.5%를 기록하였으며, 모든 인구 통계적 및 환경 하위군에서 MediaPipe와 RetinaFace를 모두 초월하였다.
• Aria Pilot 데이터셋에서 EgoBlur는 안경 착용 얼굴 검출에서 95.7% 리콜, 비면대칭 시야에서 92.8% 리콜, 가림된 얼굴에서 89.2% 리콜을 기록하여 모든 세부 카테고리에서 MediaPipe와 RetinaFace를 모두 뛰어넘었다.
• Grayscale 조건에서 EgoBlur는 안경 착용 얼굴에서 91.4% 리콜, 비면대칭 시야에서 88.0% 리콜을 기록하여 저조도 및 흑백 영상 조건에서도 강력한 강건성을 입증하였다.
• 번호판 검출에서는 Grayscale 스트림에서 98.2% 리콜, 96.3% 평균 정밀도를 기록하였고, RGB 스트림에서는 99.2% 리콜, 92.9% AP를 기록하여 조도 및 색상 조건에 관계없이 높은 신뢰성을 확보하였다.
• CCV2 데이터셋의 모든 인구 통계적 버킷에서 일관된 성능을 보였으며, 어떤 하위군에서도 성능 저하가 없었으며, 이는 강력한 공정성과 일반화 능력을 시사한다.
• 일반적인 FasterRCNN 검출기가 이고세트릭 환경에서 RetinaFace나 MediaPipe와 같은 전용 얼굴 검출기보다 뛰어난 성능을 보였으며, 통합적이고 확장 가능한 검출 파이프라인의 효과성을 입증하였다.