[논문 리뷰] Practical Digital Disguises: Leveraging Face Swaps to Protect Patient Privacy

Ethan Wilson, Frederick Shic외 2명|arXiv (Cornell University)|2022. 04. 07.

Face recognition and analysis인용 수 5

한 줄 요약

이 논문은 자폐 스펙트럼 장애를 가진 어린이의 임상 영상 기록에서 환자 개인정보를 보호하기 위해 종단간 얼굴 교체 파이프라인을 제안한다. 딥페이크 기술을 활용하여 진단에 유의미한 얼굴 신호, 예를 들어 시선과 표정을 유지한다. 얼굴 교체가 블러링보다 유의미하게 높은 유용성을 유지함을 입증한다—시선 정확도는 68.98%를 기록하고, 표정 분류 정확도는 40.78%를 기록하며, 동시에 얼굴 인식 정확도를 낮춘다.

ABSTRACT

With rapid advancements in image generation technology, face swapping for privacy protection has emerged as an active area of research. The ultimate benefit is improved access to video datasets, e.g. in healthcare settings. Recent literature has proposed deep network-based architectures to perform facial swaps and reported the associated reduction in facial recognition accuracy. However, there is not much reporting on how well these methods preserve the types of semantic information needed for the privatized videos to remain useful for their intended application. Our main contribution is a novel end-to-end face swapping pipeline for recorded videos of standardized assessments of autism symptoms in children. Through this design, we are the first to provide a methodology for assessing the privacy-utility trade-offs for the face swapping approach to patient privacy protection. Our methodology can show, for example, that current deep network based face swapping is bottle-necked by face detection in real world videos, and the extent to which gaze and expression information is preserved by face swaps relative to baseline privatization methods such as blurring.

연구 동기 및 목표

• 실제 임상 영상 익명화에서의 개인정보-유용성 트레이드오프에 대한 체계적 평가가 부족한 문제를 해결하기 위해.
• 기존의 블러링 방법보다 얼굴 교체가 자폐 진단에 관련된 얼굴 정보—예를 들어 시선 방향과 표정—을 더 잘 유지하는지 조사하기 위해.
• 저품질이거나 동적인 임상 영상에서의 얼굴 검출 정확도를 향상시키기 위해 사용자 참여형 얼굴 주석 시스템을 개발하기 위해.
• 실제 의료 환경에서 다양한 얼굴 인식 모델과 유용성 지표를 기반으로 얼굴 교체의 성능을 평가하기 위해.
• 자폐 연구 및 원격의료 응용 분야에서 영상 익명화의 개인정보-유용성 트레이드오프를 평가하는 재현 가능한 방법론을 제공하기 위해.

제안 방법

• 기본 얼굴 데이터셋을 기반으로 훈련된 딥페이크 모델을 사용하여 자폐 스크리닝 세션 영상 내 환자 얼굴를 교체하는 종단간 얼굴 교체 파이프라인을 개발했다.
• 자동 얼굴 검출이 실패한 경우에 대비해 사용자 참여형 얼굴 주석 시스템을 통합하여 정확한 경계 상자 생성을 유도함으로써, 저해상도 및 동적인 영상 프레임에서의 강건성을 향상시켰다.
• 원본 얼굴과 교체된 얼굴 간의 얼굴 랜드마크 위치를 비교하기 위해 Dlib 얼굴 랜드마크 예측 모델을 사용하여 기하학적 정밀도를 정량화했다.
• 3차원 시선 방향(좌/중/우 및 상/중/하)을 추정하기 위해 GazeTracking 네트워크를 활용하여, 검출된 시선 기반으로 프레임을 분류하고 정확도를 평가했다.
• 표정 분류를 위해 FER(Facial Expression Recognition) 모델을 적용하여 얼굴 표정을 7개 카테고리로 분류하고, 원본 영상과 얼굴 교체 영상 간의 표정 분포를 비교했다.
• 3개의 고성능 얼굴 인식 모델을 사용하여 개인정보 보호 수준을 평가하였으며, 기준 얼굴 세트 크기 대비 인식 정확도 저하 정도를 측정했다.

실험 결과

연구 질문

• RQ1 얼굴 교체 기술이 저해상도, 실제 임상 영상에서 블러링 또는 원본 기록에 비해 시선 방향을 어느 정도 유지하는가?
• RQ2 얼굴 교체된 얼굴이 자폐 진단에 관련된 표정—예를 들어 슬픔, 기쁨, 놀람—을 얼마나 정확하게 유지하는가?
• RQ3 얼굴 검출 실패가 임상 영상 데이터에서 얼굴 교체 파이프라인의 전체 성능에 어떤 영향을 미치는가?
• RQ4 다양한 얼굴 교체 모델과 기준 얼굴 세트 크기에 따라 개인정보-유용성 트레이드오프는 어떻게 변화하는가?
• RQ5 기존의 은폐 기법인 블러링보다 얼굴 교체가 눈 맞춤과 감정 표현과 같은 임상적으로 의미 있는 신호를 더 잘 유지할 수 있는가?

주요 결과

• 얼굴 교체 영상에서 시선 방향은 54.23%의 프레임에서 유지되었고, 분류 정확도는 68.98%를 기록하였다. 반면 약한 블러링은 0%의 시선 검출률을 기록하며 유의미한 시선 정보를 제공하지 못했다.
• 얼굴 교체된 얼굴의 표정 분류 정확도는 40.78%였으며, 이는 블러링된 얼굴의 27.27%보다 유의미하게 높아 감정 신호의 유지가 더 잘 이루어졌음을 시사한다.
• 랜드마크 거리 분석 결과, 얼굴 교체가 입술 랜드마크보다 눈과 코 랜드마크를 더 정확하게 유지했으며, 전체적으로 블러링된 얼굴보다 원본에 더 가까운 기하학적 정밀도를 확보했다.
• 원본 얼굴에서는 시선 검출률이 38.26%였지만, 얼굴 교체 영상에서는 54.23%로 상승하여, 저대비 또는 가림이 있는 프레임에서 시선 추정의 안정성을 향상시킬 수 있음을 시사한다.
• 얼굴 검출은 여전히 실제 영상에서의 주요 한계 요소였으며, 특히 저해상도 또는 거리가 먼 촬영에서 문제가 되었으며, 이는 제어된 환경에서는 우수한 성능를 보였음에도 불구하고 중요한 제약 요소임을 시사한다.
• 얼굴 교체 영상에서의 표정 분포는 원본 분포와 유사했으며(예: 슬픔, 기쁨, 중립, 공포, 분노, 놀람, 혐오), 감정 콘텐츠의 왜곡이 최소한임을 나타낸다.