[論文レビュー] EgoBlur: Responsible Innovation in Aria

Nikhil Raina, Guruprasad Somasundaram+13 more|arXiv (Cornell University)|Aug 24, 2023

Ethics and Social Impacts of AISocial Sciences被引用数 3

ひとこと要約

EgoBlur は、Meta の Aria グラスから得られるエゴセントリック動画記録のためのプライバシー保護型匿名化システムであり、FasterRCNN をベースにした検出器を用いて顔や車両のナンバープレートを特定し、その後ガウスノイズで個人識別情報をぼかす。CCV2 データセットでは平均リCALL 93.8% 以上、ナンバープレート検出では 99.2% のリCALL を達成し、多様な実世界の条件下でも高い耐障害性と責任ある AI の特性を示している。

ABSTRACT

Project Aria pushes the frontiers of Egocentric AI with large-scale real-world data collection using purposely designed glasses with privacy first approach. To protect the privacy of bystanders being recorded by the glasses, our research protocols are designed to ensure recorded video is processed by an AI anonymization model that removes bystander faces and vehicle license plates. Detected face and license plate regions are processed with a Gaussian blur such that these personal identification information (PII) regions are obscured. This process helps to ensure that anonymized versions of the video is retained for research purposes. In Project Aria, we have developed a state-of-the-art anonymization system EgoBlur. In this paper, we present extensive analysis of EgoBlur on challenging datasets comparing its performance with other state-of-the-art systems from industry and academia including extensive Responsible AI analysis on recently released Casual Conversations V2 dataset.

研究の動機と目的

• Aria グラスからの実世界のエゴセントリック動画記録における個人識別情報（PII）を匿名化するスケーラブルでプライバシー最優先のシステムの開発。
• 低照度、部分的遮断、非正面の顔を含む多様な人種的・環境的条件下でも高い性能を維持すること。
• エゴセントリック動画ストリームにおける車両のナンバープレート検出と匿名化の強固なベースラインの確立。
• 年齢、性別、肌の色、国など、責任ある AI の属性にわたる公平性と性能の評価。
• 高い精度とプライバシー保証を維持しつつ、下位のオブジェクト検出器の交換が可能な柔軟性の確保。

提案手法

• 顔検出のための大規模な画像コーパス上で、RetinaFace を教師モデルとして弱教師付き学習を実施し、偽の真値アノテーションを生成。
• Detectron2 を用いて、ResNeXt-101-32x8-FPN バックボーンを搭載した FasterRCNN をベースにしたオブジェクト検出器を訓練。長期にわたる訓練スケジュールとグレースケール画像の増強を活用。
• 検出された顔およびナンバープレート領域にガウスぼかしを適用し、個人識別情報が残らないように匿名化を実施。
• ベンチマーク用の2つのデータセットを収集・手動アノテーション：CCV2 に 259,656 個の顔バウンディングボックス、Aria パイロットデータセットに 23,242 個。細分化された属性（例：遮断済み、眼鏡着用、低照度）を含む。
• 顔およびナンバープレート検出の評価指標として、0.5 の閾値を設定した IOU（交差率）、平均適合率（AP）、平均リCALL（AR）を用いる。
• 複数のアノテーターによる多数決によるラベル付けを実施し、属性アノテーションのバイアスを低減し、細分化された性能分析を可能にした。

実験結果

リサーチクエスチョン

• RQ1 CCV2 データセットにおいて、EgoBlur の顔検出性能は、MediaPipe や RetinaFace などの最先端システムと比較して、多様な人種的・環境的属性においてどのように異なるか？
• RQ2 Aria パイロットデータセットにおいて、EgoBlur の性能は、遮断、切り詰め、低照度、非正面の視点といった困難なエゴセントリック条件の下で顔を検出できるか？
• RQ3 汎用的でタスクに依存しない FasterRCNN 検出器は、実世界のエゴセントリック動画環境において、RetinaFace や MediaPipe のような特化型顔検出器を上回ることができるか？
• RQ4 EgoBlur は、実世界の Aria 記録における距離、角度、時間帯の違いといったさまざまな記録条件において、車両のナンバープレートをどれほど効果的に検出できるか？
• RQ5 顔検出性能において、肌の色、性別、国など、人種的バケットごとに、システムはどれほど公平性と一貫性を保っているか？

主な発見

• CCV2 データセットにおいて、EgoBlur は平均リCALL 93.8%、平均適合率 89.5% を達成し、すべての年齢・性別・環境的サブグループで MediaPipe や RetinaFace を上回った。
• Aria パイロットデータセットでは、眼鏡をかけた顔の検出で 95.7% のリCALL、非正面の視点で 92.8%、遮断された顔で 89.2% を達成。すべての細分化カテゴリで MediaPipe や RetinaFace を上回った。
• グレースケール条件下では、眼鏡をかけた顔で 91.4% のリCALL、非正面の視点で 88.0% を達成し、低照度およびモノクロ画像処理に対しても高い耐障害性を示した。
• ナンバープレート検出においては、グレースケールストリームでリCALL 98.2%、平均適合率 96.3%、RGB ストリームでリCALL 99.2%、平均適合率 92.9% を達成。照度および色の条件にかかわらず高い信頼性を示した。
• CCV2 データセットのすべての年齢・人種的バケットにおいて、性能に顕著な低下が見られず、強力な公平性と一般化性能を示した。
• エゴセントリック環境下で、特化型顔検出器（RetinaFace や MediaPipe）よりも汎用的でタスクに依存しない FasterRCNN 検出器が優れた性能を発揮した。これにより、統一的かつスケーラブルな検出パイプラインの有効性が裏付けられた。