[論文レビュー] Practical Digital Disguises: Leveraging Face Swaps to Protect Patient Privacy

Ethan Wilson, Frederick Shic+2 more|arXiv (Cornell University)|Apr 7, 2022

Face recognition and analysis被引用数 5

ひとこと要約

本論文は、自閉症スペクトラム症候群を有する乳幼児の臨床動画記録における患者のプライバシーを保護するため、眼の動きや表情といった診断に有用な面部の特徴を保持する深フェイク技術を活用したエンドツーエンドのフェーススワッピングパイプラインを提案する。顔のぼかしと比較して顕著に高い有用性を示し、眼の注視方向の正確さを68.98%、表情分類の正確さを40.78%維持している一方で、顔認識の正確さは著しく低下させている。

ABSTRACT

With rapid advancements in image generation technology, face swapping for privacy protection has emerged as an active area of research. The ultimate benefit is improved access to video datasets, e.g. in healthcare settings. Recent literature has proposed deep network-based architectures to perform facial swaps and reported the associated reduction in facial recognition accuracy. However, there is not much reporting on how well these methods preserve the types of semantic information needed for the privatized videos to remain useful for their intended application. Our main contribution is a novel end-to-end face swapping pipeline for recorded videos of standardized assessments of autism symptoms in children. Through this design, we are the first to provide a methodology for assessing the privacy-utility trade-offs for the face swapping approach to patient privacy protection. Our methodology can show, for example, that current deep network based face swapping is bottle-necked by face detection in real world videos, and the extent to which gaze and expression information is preserved by face swaps relative to baseline privatization methods such as blurring.

研究の動機と目的

• 現実世界の臨床動画脱識別におけるプライバシーと有用性のトレードオフを体系的かつ評価する手法の欠如に対処すること。
• 従来のぼかし手法と比較して、フェーススワッピングが自閉症診断に有用な面部情報（注視方向や表情など）をより効果的に保持できるかどうかを調査すること。
• 低品質で動的な臨床動画において顔検出の精度を向上させるために、ユーザーを含むループ型の顔のアノテーションシステムを開発すること。
• 実際の医療環境において、複数の顔認識モデルと有用性指標を用いてフェーススワッピングの性能を評価すること。
• 自閉症研究やテレヘルス応用分野における動画脱識別において、プライバシーと有用性のトレードオフを評価する再現可能な手法を提供すること。

提案手法

• 参照用顔データセットで事前学習された深フェイクモデルを用いて、自閉症スクリーニング会話の記録における患者の顔を置き換えるエンドツーエンドのフェーススワッピングパイプラインを開発した。
• 自動顔検出が失敗した場合に正確なバウンディングボックスを生成するために、ユーザーを含むループ型の顔アノテーションシステムを統合し、低解像度で動的な動画フレームにおける耐性を高めた。
• Dlibを用いた顔のランドマーク予測子を用いて、元の顔とスワップ後の顔の間でランドマーク位置を比較し、幾何学的忠実度を定量化した。
• GazeTrackingネットワークを用いて三次元（左／中央／右、上／中央／下）の注視方向を推定し、検出された注視方向に基づいてフレームを分類して正確さを評価した。
• FER（顔の表情認識）モデルを用いて表情を7つのカテゴリに分類し、元の動画とフェーススワップ後の動画における表情分布を比較した。
• 3つの高性能な顔認識モデルを用いてプライバシー保護の効果を評価し、参照顔セットのサイズに応じた認識正確さの低下を測定した。

実験結果

リサーチクエスチョン

• RQ1 フェーススワッピングは、ぼかし処理や元の記録と比較して、低解像度で現実世界の臨床動画において注視方向をどの程度正確に保持できるか？
• RQ2 フェーススワップ後の顔は、自閉症診断に重要な表情（悲しみ、喜び、驚きなど）をどの程度正確に保持できるか？
• RQ3 顔検出の失敗が、臨床動画データにおけるフェーススワッピングパイプライン全体の性能に与える影響は何か？
• RQ4 異なるフェーススワッピングモデルや参照顔セットのサイズにおいて、プライバシーと有用性のトレードオフはどのように変化するか？
• RQ5 従来のぼかしのような遮断技術と比較して、フェーススワッピングは眼の接触や感情表現といった臨床的に意味のある特徴をより効果的に保持できるか？

主な発見

• フェーススワッピングでは54.23%のフレームで注視方向が保持され、分類正確さは68.98%に達した。一方、弱いぼかし処理では注視方向検出が0%にとどまり、有用な注視情報は得られなかった。
• フェーススワップ後の顔の表情分類正確さは40.78%であり、弱いぼかし処理で得られた27.27%と比較して顕著に高く、感情的特徴の保持が優れていることが示された。
• ランドマーク距離解析の結果、フェーススワップは口のランドマークよりも目や鼻のランドマークをより正確に保持しており、全体のランドマーク忠実度はぼかし処理よりも元の顔に近いことが分かった。
• フェーススワッピングパイプラインでは、元の顔では38.26%の注視方向検出率を示したが、フェーススワップ後の動画では54.23%に上昇した。これは、フェーススワップが低コントラストや遮蔽のあるフレームでも注視推定を安定化させられることを示唆している。
• 顔検出は現実世界の動画において依然としてボトルネックであり、特に低解像度や遠距離のショットでは困難であることが判明した。これは、制御された環境では優れた性能を示しても、現実の制約が依然として大きな課題であることを示している。
• フェーススワップ後の動画における表情の分布は、元の分布（例：悲しみ、喜び、ニュートラル、恐怖、怒り、驚き、嫌悪）とよく一致しており、感情的コンテンツの歪みは最小限に抑えられていることが示された。