[論文レビュー] Deepfakes for Medical Video De-Identification: Privacy Protection and Diagnostic Information Preservation

Bingquan Zhu, Hao Fang+2 more|arXiv (Cornell University)|Feb 7, 2020

Face recognition and analysis参考文献 24被引用数 4

ひとこと要約

本論文では、患者のプライバシーを保護しつつ診断情報の整合性を保ちながら、医療動画の脱識別化に顔交換ディープフェイク技術を活用する手法を提案する。患者の顔を匿名化されたターゲット顔に置き換えることで、身体および顔のキーポイント位置がほぼ同一のままであり、従来のぼかしやマスキング手法を著しく上回る。これにより、運動障害症研究における倫理的かつ高精細なデータ共有が可能になる。

ABSTRACT

Data sharing for medical research has been difficult as open-sourcing clinical data may violate patient privacy. Traditional methods for face de-identification wipe out facial information entirely, making it impossible to analyze facial behavior. Recent advancements on whole-body keypoints detection also rely on facial input to estimate body keypoints. Both facial and body keypoints are critical in some medical diagnoses, and keypoints invariability after de-identification is of great importance. Here, we propose a solution using deepfake technology, the face swapping technique. While this swapping method has been criticized for invading privacy and portraiture right, it could conversely protect privacy in medical video: patients' faces could be swapped to a proper target face and become unrecognizable. However, it remained an open question that to what extent the swapping de-identification method could affect the automatic detection of body keypoints. In this study, we apply deepfake technology to Parkinson's disease examination videos to de-identify subjects, and quantitatively show that: face-swapping as a de-identification approach is reliable, and it keeps the keypoints almost invariant, significantly better than traditional methods. This study proposes a pipeline for video de-identification and keypoint preservation, clearing up some ethical restrictions for medical data sharing. This work could make open-source high quality medical video datasets more feasible and promote future medical research that benefits our society.

研究の動機と目的

• 識別可能な患者の顔を含む医療動画の共有における倫理的・プライバシー的障壁を解消すること。
• 脱識別化の過程で、身体および顔のキーポイントといった重要な診断情報が保持されること。
• 従来の脱識別化手法と比較して、ディープフェイクベースの顔交換がキーポイントの不変性をどの程度維持するかを評価すること。
• 元の被験者を再識別できないように、脱識別化済み動画が完全に逆引き不可能であることを保証すること。
• 患者の個人情報を保護しながら、高品質な医療動画データセットのオープンソース化に実用的なパイプラインを構築すること。

提案手法

• パーキンソン病の検査動画に対して、深層ニューラルネットワークを用いた顔交換を適用し、元の患者の顔を匿名化されたオープンソースの顔に置き換える。
• 事前学習済みのディープフェイクモデル（例：Faceswap）を用い、表情、肌色、頭部の姿勢を保持したまま顔の特徴を移転する。
• キーポイント検出には、マルチスケールの受容野を持つボトムアップ型ポーズ推定モデルであるOpenPoseを用い、各手法間での安定性を評価する。
• オリジナル動画、ぼかし／マスキング済み動画、顔交換済み動画の間でキーポイント検出の性能を定量的に比較する。
• 元のモデル重みや元データにアクセスできない状況下で、公開済みの脱識別化済み動画から元の顔を再構築できるかどうかを分析し、逆引きの不可能性を評価する。
• さまざまな照明条件、ポーズ、表情を含む多様な録画環境でパイプラインの有効性をテストする。

実験結果

リサーチクエスチョン

• RQ1 顔交換ディープフェイク技術は、従来の脱識別化手法と比較して、身体および顔のキーポイント位置をどの程度正確に保持するか？
• RQ2 ディープフェイクベースの脱識別化は、患者のプライバシーを確保しつつも、診断情報の整合性を維持できるか？
• RQ3 顔交換済みの動画データは、元のアイデンティティの再構築が不可能であるか、すなわち完全に逆引き不可能か？
• RQ4 異なる被験者や動画録画条件において、キーポイントの保持がどの程度頑健か？
• RQ5 この手法により、データ利用価値を損なわず、倫理的かつオープンに高品質な医療動画データセットを共有可能になるか？

主な発見

• 顔交換による脱識別化は、オリジナル動画とほぼ同一の精度で顔および身体のキーポイントを保持しており、ぼかしやマスキング手法を著しく上回る。
• 従来の手法（ぼかしやマスキング）は顔のデータが完全に消失するため、顔のキーポイント検出がほぼ完全に失敗していた。
• 身体キーポイント検出はすべての手法で安定していたが、顔交換手法が顔のランドマークに対して最も高い不変性を示した。
• ディープフェイクモデルの重みは公開されていないため、顔交換済み動画から元の顔を再構築することは計算的に不可能である。
• 多様な表情、照明、ポーズに対しても本手法は頑健であり、実世界の医療動画環境下でもキーポイントの一貫性を維持した。
• 本手法により、診断情報やプライバシーを損なわず、高品質な医療動画の倫理的でオープンな共有が可能になった。