[논문 리뷰] Deepfakes for Medical Video De-Identification: Privacy Protection and Diagnostic Information Preservation

Bingquan Zhu, Hao Fang외 2명|arXiv (Cornell University)|2020. 02. 07.

Face recognition and analysis참고 문헌 24인용 수 4

한 줄 요약

이 논문은 환자의 개인정보를 보호하면서 진단 정보를 유지하기 위해 의료 영상의 탈식별화에 얼굴 교체 딥페이크 기술을 사용할 것을 제안한다. 환자의 얼굴를 익명화된 대체 얼굴로 교체함으로써 신체 및 얼굴 관절점 위치를 거의 동일하게 유지하며, 기존의 흐림처리나 마스킹 방법보다 뛰어난 성능을 보이며, 운동 장애 연구를 위한 윤리적이고 고해상도의 데이터 공유를 가능하게 한다.

ABSTRACT

Data sharing for medical research has been difficult as open-sourcing clinical data may violate patient privacy. Traditional methods for face de-identification wipe out facial information entirely, making it impossible to analyze facial behavior. Recent advancements on whole-body keypoints detection also rely on facial input to estimate body keypoints. Both facial and body keypoints are critical in some medical diagnoses, and keypoints invariability after de-identification is of great importance. Here, we propose a solution using deepfake technology, the face swapping technique. While this swapping method has been criticized for invading privacy and portraiture right, it could conversely protect privacy in medical video: patients' faces could be swapped to a proper target face and become unrecognizable. However, it remained an open question that to what extent the swapping de-identification method could affect the automatic detection of body keypoints. In this study, we apply deepfake technology to Parkinson's disease examination videos to de-identify subjects, and quantitatively show that: face-swapping as a de-identification approach is reliable, and it keeps the keypoints almost invariant, significantly better than traditional methods. This study proposes a pipeline for video de-identification and keypoint preservation, clearing up some ethical restrictions for medical data sharing. This work could make open-source high quality medical video datasets more feasible and promote future medical research that benefits our society.

연구 동기 및 목표

• 기본적으로 환자 얼굴가 식별 가능한 의료 영상 공유에 있어 윤리적 및 개인정보 보호 장벽을 해결하기 위해.
• 탈식별화 과정에서 신체 및 얼굴 관절점과 같은 중요한 진단 정보를 유지하기 위해.
• 기존의 탈식별 방법과 비교해 딥페이크 기반 얼굴 교체가 관절점 불변성을 유지하는지 평가하기 위해.
• 원래 주체의 재식별을 방지하기 위해 탈식별된 영상가 복원이 불가능하도록 보장하기 위해.
• 환자의 신원을 보호하면서도 고품질 의료 영상 데이터셋을 오픈소스로 공개할 수 있는 실현 가능한 파이프라인을 구축하기 위해.

제안 방법

• 파킨슨병 진료 영상에 딥뉴럴넷 기반 얼굴 교체 기술을 적용하여 원본 환자 얼굴를 익명화된 오픈소스 얼굴로 교체한다.
• 사전 학습된 딥페이크 모델(예: Faceswap)을 사용하여 표정, 피부 톤, 머리 자세를 유지하면서도 얼굴 특징을 전달한다.
• OpenPose를 사용하여 관절점 검출을 수행한다. 이는 다중 척도 수신장역할을 가진 바닥에서부터의 자세 추정 모델이다.
• 원본 영상, 흐림처리/마스킹된 영상, 얼굴 교체된 영상 간의 관절점 검출 성능을 정량적으로 비교한다.
• 원본 영상의 모델 가중치나 원본 데이터에 접근하지 않고도 공개된 탈식별 영상에서 원본 얼굴를 재구성할 수 있는지 분석함으로써 복원 불가능성을 평가한다.
• 다양한 조명 조건, 자세, 표정을 포함한 다양한 기록 조건에서 파이프라인의 성능을 테스트한다.

실험 결과

연구 질문

• RQ1 얼굴 교체 딥페이크 기술은 기존의 탈식별 방법과 비교해 신체 및 얼굴 관절점 위치를 얼마나 잘 유지하는가?
• RQ2 딥페이크 기반 탈식별이 환자의 개인정보 보호를 보장하면서도 진단 정보의 무결성을 유지할 수 있는가?
• RQ3 얼굴 교체된 영상 데이터는 복원이 불가능하여 원래 신원을 재구성할 수 없는가?
• RQ4 다양한 환자 및 영상 기록 조건에서 관절점 유지 성능은 얼마나 견고한가?
• RQ5 이 방법은 데이터 유용성에 손상을 주지 않으면서도 윤리적인 방식으로 고가치 의료 영상 데이터셋을 공유할 수 있는가?

주요 결과

• 얼굴 교체 탈식별 기법은 원본 영상과 거의 동일한 정확도로 얼굴 및 신체 관절점을 유지하며, 흐림처리나 마스킹 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 기존의 방법들인 흐림처리나 마스킹는 얼굴 데이터의 완전한 손실로 인해 얼굴 관절점 검출에 거의 실패했다.
• 신체 관절점 검출은 모든 방법에서 안정적이었지만, 얼굴 교체 기법이 특히 얼굴 기준점에서 가장 높은 불변성을 보였다.
• 딥페이크 모델의 가중치는 공개되지 않아, 교체된 영상에서 원본 얼굴를 복원하는 것은 계산적으로 불가능했다.
• 이 방법은 다양한 표정, 조명, 자세 조건에서도 견고했으며, 실제 의료 영상 환경에서 관절점 일관성을 유지했다.
• 이 방법은 진단 정보나 개인정보를 훼손하지 않으면서도 윤리적인 방식으로 고품질 의료 영상 공유를 가능하게 한다.