[論文レビュー] A Study of Face Obfuscation in ImageNet

Kaiyu Yang, Jacqueline Yau+3 more|arXiv (Cornell University)|Mar 10, 2021

Face recognition and analysis参考文献 78被引用数 66

ひとこと要約

この論文はImageNetの顔に注釈を付け、顔のぼかし（ブラー）や覆い付けが分類精度と転移学習性能に与える影響はごく僅かであることを示しています。プライバシー保護版のImageNetを確立し、カテゴリごとの転移効果と特徴転移を分析します。

ABSTRACT

Face obfuscation (blurring, mosaicing, etc.) has been shown to be effective for privacy protection; nevertheless, object recognition research typically assumes access to complete, unobfuscated images. In this paper, we explore the effects of face obfuscation on the popular ImageNet challenge visual recognition benchmark. Most categories in the ImageNet challenge are not people categories; however, many incidental people appear in the images, and their privacy is a concern. We first annotate faces in the dataset. Then we demonstrate that face obfuscation has minimal impact on the accuracy of recognition models. Concretely, we benchmark multiple deep neural networks on obfuscated images and observe that the overall recognition accuracy drops only slightly (<= 1.0%). Further, we experiment with transfer learning to 4 downstream tasks (object recognition, scene recognition, face attribute classification, and object detection) and show that features learned on obfuscated images are equally transferable. Our work demonstrates the feasibility of privacy-aware visual recognition, improves the highly-used ImageNet challenge benchmark, and suggests an important path for future visual datasets. Data and code are available at https://github.com/princetonvisualai/imagenet-face-obfuscation.

研究の動機と目的

• Public visual datasets におけるプライバシー懸念を、ImageNet (ILSVRC) における普遍的な顔を studied することで動機づける。
• ILSVRC に顔を注釈付けし、 obfuscation と privacy-preserving ベンチマークを可能にする。
• 顔のぼかしが ImageNet 分類と転移学習に与える影響を定量化する。
• obfuscated データで学習した特徴が下流タスクへ転移するかを評価する。
• privacy-aware visual recognition research を促進するデータセットと手法を提供する。

提案手法

• 自動検出（Amazon Rekognition）とクラウドソーシングでの精査（Mechanical Turk）を組み合わせた二段階の顔注釈パイプラインを開発。
• ぼかしと覆い付けの手法を用いて ILSVRC の顔を匿名化したバージョンを作成。
• 元画像とぼかし画像の両方でトップ-1およびトップ-5 の精度を用いて複数の深層ネットワークをベンチマーク。
• 元画像/ぼかし画像で事前学習を行い、CIFAR-10、SUN、PASCAL VOC、CelebA の4タスクで微調整して転移学習を評価。
• Grad-CAM による局所化の洞察を通じてカテゴリごとのロバスト性を分析。
• privacy-aware ImageNet 研究のためのデータとコードを提供。

実験結果

リサーチクエスチョン

• RQ1 顔のぼかしは一般的なCNNアーキテクチャにおける ImageNet 分類精度にどう影響するか？
• RQ2 顔がぼかされた ImageNet での事前学習は、物体認識（CIFAR-10）、シーン認識（SUN）、物体検出（PASCAL VOC）、顔属性分類（CelebA）への転移性能を維持できるか？
• RQ3 どのカテゴリが顔のぼかしに最も敏感で、物体と顔の重なりが劣化にどのような影響を与えるか？
• RQ4 プライバシー保護のぼかしを大規模視覚ベンチマークへ組み込んでも、実用性を大きく損なうことなく実現できるか？

主な発見

Model	Top-1 Original	Top-1 Blurred	Δ_b	Top-1 Overlaid	Δ_o	Top-5 Original	Top-5 Blurred	Δ_b	Top-5 Overlaid	Δ_o
AlexNet	56.0	55.8	0.2	55.5	0.3	78.8	78.6	0.3	78.2	0.7
SqueezeNet	56.0	55.3	0.7	55.0	1.0	78.6	78.1	0.5	77.6	1.0
ShuffleNet	64.7	64.0	0.6	63.7	1.0	85.9	85.5	0.5	85.2	0.8
VGG11	68.9	68.2	0.7	67.8	1.1	88.7	88.3	0.4	87.9	0.8
VGG13	69.9	69.3	0.7	68.8	1.2	89.3	88.9	0.4	88.5	0.8
VGG16	71.7	70.8	0.9	70.6	1.1	90.5	89.9	0.6	89.6	0.9
VGG19	72.4	71.5	0.9	71.2	1.2	90.9	90.3	0.6	90.1	0.8
MobileNet	65.4	64.4	1.0	64.3	1.0	86.7	86.0	0.7	85.7	0.9
DenseNet121	75.0	74.2	0.8	74.1	1.0	92.4	92.0	0.4	91.7	0.7
DenseNet201	77.0	76.6	0.4	76.1	0.9	93.5	93.2	0.2	92.9	0.6
ResNet18	69.8	69.0	0.7	68.9	0.8	89.2	88.7	0.5	88.7	0.6
ResNet34	73.1	72.3	0.8	72.4	0.8	91.3	90.8	0.5	90.7	0.6
ResNet50	75.5	75.0	0.4	74.9	0.6	92.5	92.4	0.1	92.2	0.3
ResNet101	77.3	76.7	0.5	76.7	0.6	93.6	93.3	0.3	93.1	0.5
ResNet152	77.9	77.3	0.6	77.0	0.9	93.9	93.7	0.4	93.3	0.6

• 顔のぼかしは精度の低下を小さく抑える：Top-1 および Top-5 の低下は、方法とモデルに応じて通常0.1%～1.0% の範囲。
• 1000 類の ImageNet 全体では、ぼかしと覆い付けのいずれでも平均精度の低下は < 1%。
• 顔がぼかされた画像での事前学習は、物体認識（CIFAR-10）、シーン認識（SUN）、物体検出（PASCAL VOC）、顔属性分類（CelebA）において元画像での事前学習と転移性能が同等である。
• 顔と重なるカテゴリ（例：マスク、ハーモニカ）はぼかし下での劣化が大きく、ぼかし顔の割合と精度低下の相関がある（top-5 r≈0.46, p≈2.69e-49）。
• Grad-CAM 分析により、ぼかし画像はターゲット物体へのモデルの注視を低下させ、カテゴリ特有の低下を説明する。
• 視覚的に類似したカテゴリ間でのぼかしによる差異は、top-5 精度や平均適合度を評価する際には largely 緩和される。