[論文レビュー] Faceless Person Recognition; Privacy Implications in Social Media

Seong Joon Oh, Rodrigo Benenson+2 more|arXiv (Cornell University)|Jul 28, 2016

Digital Media Forensic Detection参考文献 10被引用数 23

ひとこと要約

本論文では、顔が隠されている状態でもソーシャルメディアの画像から個人を識別できる顔なし人物認識システムを提案する。ぼかしや黒塗りなどの隠蔽技術を用いても、本システムは高い識別精度を達成しており、イベント内では最大86.4%、イベント跨ぎでは51.1%の認識率を示した。わずか10枚程度のタグ付き画像でも、プライバシー保護策を講じていても顕著なプライバシーリスクを引き起こすことが示された。

ABSTRACT

As we shift more of our lives into the virtual domain, the volume of data shared on the web keeps increasing and presents a threat to our privacy. This works contributes to the understanding of privacy implications of such data sharing by analysing how well people are recognisable in social media data. To facilitate a systematic study we define a number of scenarios considering factors such as how many heads of a person are tagged and if those heads are obfuscated or not. We propose a robust person recognition system that can handle large variations in pose and clothing, and can be trained with few training samples. Our results indicate that a handful of images is enough to threaten users' privacy, even in the presence of obfuscation. We show detailed experimental results, and discuss their implications.

研究の動機と目的

• ソーシャルメディアに個人の写真を共有する際のプライバシーリスクを定量化すること、特に顔が隠されている場合に焦点を当てる。
• 一般的な隠蔽技術（例：ぼかし、黒塗り）が、機械視覚システムによる識別をどれほど効果的に防げるかを調査すること。
• 最小限の学習データで、多様なポーズ、服装、視点に対応できる強固な人物認識システムの開発。
• 現実のソーシャルメディア環境における、画像コンテンツ、隠蔽処理、識別性能の相互作用を分析すること。
• メタデータ（時刻や位置情報など）に依存せず、視覚的コンテンツのみに基づいてプライバシー損失の下限を推定すること。

提案手法

• 顔の特徴に依存しない代わりに、身体的特徴や服装の手がかりから識別に適した表現を抽出するために、深層畳み込みニューラルネットワーク（CNN）特徴を用いる顔なし人物認識システム。
• 複数のタグなし画像にわたる識別子の共同推論を実行するグラフィカルモデルが、文脈的一致性と外観の類似性を活用。
• 実際のソーシャルメディアのデータ制約を模倣するため、1人あたり約10枚の画像で学習を実施。
• 黒塗り、白塗り、ぼかし、可視状態の4種類の隠蔽タイプを体系的に評価し、認識精度の低下効果を測定。
• PIPAデータセットを用いて実験を実施し、イベント内およびイベント跨ぎの認識状況を、異なる隠蔽レベルと照らし合わせて比較。
• 認識精度を、単一画像推論とフルシステム推論の両方の構成で評価。

実験結果

リサーチクエスチョン

• RQ1 顔がぼかしや黒塗りなどの技術によって隠されている状態でも、視覚システムがソーシャルメディアの画像から人物をどれほど正確に識別できるか。
• RQ2 人物のタグ付き画像がわずか数枚しかない場合、一般的な隠蔽手法がどれほどプライバシー保護に効果的か。
• RQ3 人物のタグ付き画像の枚数（例：1〜10枚）が、異なるイベントや条件下でも認識精度に顕著な影響を及えるか。
• RQ4 複数のタグなし画像にわたるシステムの共同推論は、単一画像解析と比較してどれほど認識性能を向上させるか。
• RQ5 メタデータ（時刻や位置情報など）に依存せず、視覚的データそのものから生じるプライバシー脅威はどの程度か。

主な発見

• ぼかしのような隠蔽技術は限定的なプライバシー保護にとどまり、最も攻撃的な隠蔽条件（S3）においても、イベント内認識では71.3%の認識精度を達成した。
• 1つの頭部にのみ隠蔽処理を施した場合（S2）、認識精度はS1の86.4%から71.3%に低下したが、複数画像にわたる共同推論により一部の性能回復が見られた。
• イベント跨ぎ認識では、認識精度が著しく低下（S1の51.1%からS3の23.9%に低下）しており、画像が異なるイベントに属する場合、隠蔽処理の効果が顕著に現れている。
• すべての頭部が黒塗り（S3）であっても、ランダム選択より12倍高い認識精度を示しており、顔以外の視覚的特徴が依然として顕著に識別可能であることを示している。
• 隠蔽手法のプライバシー保護効果の順位は：黒塗り ≈ 白塗り > ぼかし > 可視状態であり、ぼかしは無隠蔽状態と比較して僅かな改善にとどまる。
• 共同推論機構により、S2およびS3の状況で顕著な認識性能向上が達成された。これは、複数画像間の一貫性がプライバシー漏洩に寄与することを示しており、文脈がプライバシー漏洩に影響を与えることを裏付けている。