[论文解读] EgoBlur: Responsible Innovation in Aria

Nikhil Raina, Guruprasad Somasundaram+13 more|arXiv (Cornell University)|Aug 24, 2023

Ethics and Social Impacts of AISocial Sciences被引用 3

一句话总结

EgoBlur 是一种用于 Meta Aria 眼镜拍摄的自指视频记录的隐私保护匿名化系统，采用基于 FasterRCNN 的检测器识别面部和车牌，随后使用高斯模糊处理以遮蔽个人身份信息。该系统在 CCV2 数据集上实现超过 93.8% 的平均召回率，在车牌检测上达到 99.2% 的召回率，展现出在多样化真实环境条件下的强大鲁棒性与负责任的 AI 特性。

ABSTRACT

Project Aria pushes the frontiers of Egocentric AI with large-scale real-world data collection using purposely designed glasses with privacy first approach. To protect the privacy of bystanders being recorded by the glasses, our research protocols are designed to ensure recorded video is processed by an AI anonymization model that removes bystander faces and vehicle license plates. Detected face and license plate regions are processed with a Gaussian blur such that these personal identification information (PII) regions are obscured. This process helps to ensure that anonymized versions of the video is retained for research purposes. In Project Aria, we have developed a state-of-the-art anonymization system EgoBlur. In this paper, we present extensive analysis of EgoBlur on challenging datasets comparing its performance with other state-of-the-art systems from industry and academia including extensive Responsible AI analysis on recently released Casual Conversations V2 dataset.

研究动机与目标

• 开发一种可扩展、以隐私为先的系统，用于匿名化来自 Aria 眼镜的真实世界自指视频记录中的个人身份信息（PII）。
• 确保在包括低光照、遮挡和非正面对脸在内的多样化人口统计与环境条件下具备强大性能。
• 为自指视频流中的车辆车牌检测与匿名化建立强有力的基线标准。
• 评估系统在年龄、性别、肤色和原籍国等负责任 AI 属性上的公平性与性能表现。
• 在保持高精度与隐私保障的前提下，实现对底层目标检测器的灵活替换。

提出的方法

• 采用弱监督训练方法，利用 RetinaFace 作为教师模型，在大规模图像语料库上生成面部检测的伪真实标注。
• 使用 Detectron2 训练基于 FasterRCNN 的目标检测器，主干网络为 ResNeXt-101-32x8-FPN，采用长期训练策略并增加灰度图像增强。
• 对检测到的面部与车牌区域应用高斯模糊处理，以实现 PII 的匿名化，确保无残留识别信息留存。
• 收集并人工标注了两个基准数据集：在 CCV2 数据集中包含 259,656 个面部边界框，在 Aria Pilot 数据集中包含 23,242 个边界框，并标注了细粒度属性（如遮挡、佩戴眼镜、低光照等）。
• 使用交并比（IoU）阈值为 0.5，结合平均精度（AP）与平均召回率（AR）作为面部与车牌检测的评估指标。
• 采用多标注员多数投票机制进行标注，以最小化细粒度性能分析中属性标注的偏差。

实验结果

研究问题

• RQ1 在 CCV2 数据集上，EgoBlur 的面部检测性能与最先进系统（如 MediaPipe、RetinaFace）相比，在多样化人口统计与环境属性下表现如何？
• RQ2 在 Aria Pilot 数据集上，EgoBlur 在遮挡、截断、低光照和非正面对脸等具有挑战性的自指条件下，面部检测性能如何？
• RQ3 在真实世界的自指视频场景中，通用的、任务无关的 FasterRCNN 检测器是否能超越专门设计的面部检测器（如 RetinaFace 和 MediaPipe）？
• RQ4 在真实 Aria 记录中，EgoBlur 在不同拍摄条件（如距离、角度、一天中的时间）下检测车辆车牌的有效性如何？
• RQ5 在面部检测性能方面，该系统在肤色、性别、原籍国等人口统计分组中是否保持公平性与一致性？

主要发现

• 在 CCV2 数据集上，EgoBlur 实现了 93.8% 的平均召回率与 89.5% 的平均精度，优于 MediaPipe 与 RetinaFace 在所有人口统计与环境子组中的表现。
• 在 Aria Pilot 数据集上，EgoBlur 对佩戴眼镜的面部实现 95.7% 的召回率，对非正面对脸实现 92.8% 的召回率，对遮挡面部实现 89.2% 的召回率，所有细粒度类别中均优于 MediaPipe 与 RetinaFace。
• 在灰度条件下，EgoBlur 对佩戴眼镜的面部实现 91.4% 的召回率，对非正面对脸实现 88.0% 的召回率，展现出对低光照与单色成像的强大鲁棒性。
• 在车牌检测方面，EgoBlur 在灰度视频流中实现 98.2% 的召回率与 96.3% 的平均精度，在 RGB 视频流中实现 99.2% 的召回率与 92.9% 的 AP，表明在光照与色彩条件下均具有高度可靠性。
• 该系统在 CCV2 数据集的所有人口统计分组中均表现出一致性能，任意子组均无显著性能下降，表明其具备强大的公平性与泛化能力。
• 使用通用的 FasterRCNN 检测器在自指场景中优于专门设计的面部检测器（如 RetinaFace 与 MediaPipe），验证了统一、可扩展检测流程的有效性。