[논문 리뷰] Temporally coherent video anonymization through GAN inpainting

Thangapavithraa Balaji, Patrick Blies외 4명|arXiv (Cornell University)|2021. 06. 04.

Digital Media Forensic Detection참고 문헌 38인용 수 4

한 줄 요약

이 논문은 얼굴 검출을 통해 감지된 얼굴을 인위적으로 생성된 신원 불변 얼굴로 대체하는 시간적으로 일관된 비디오 얼굴 익명화를 위한 이중 단계 GAN 기반 방법인 JaGAN을 제안한다. 새로 구축한 비디오 데이터셋과 신규 도입된 신원 불변성(Identity Invariance, IdI) 점수를 활용하여, 이미지 기반 기준 대비 빛나는 플리커 감소와 함께 시간적 일관성 향상을 달성하였으며, 랜드마크 없는 얼굴 보정 작업에서 최신 기준(FID 점수 1.97)을 달성하였다.

ABSTRACT

This work tackles the problem of temporally coherent face anonymization in natural video streams.We propose JaGAN, a two-stage system starting with detecting and masking out faces with black image patches in all individual frames of the video. The second stage leverages a privacy-preserving Video Generative Adversarial Network designed to inpaint the missing image patches with artificially generated faces. Our initial experiments reveal that image based generative models are not capable of inpainting patches showing temporal coherent appearance across neighboring video frames. To address this issue we introduce a newly curated video collection, which is made publicly available for the research community along with this paper. We also introduce the Identity Invariance Score IdI as a means to quantify temporal coherency between neighboring frames.

연구 동기 및 목표

• 프레임 단위의 얼굴 보정으로 인해 발생하는 플리커와 신원 불일치 문제를 해결하기 위해 시간적으로 일관된 비디오 익명화 기법을 개선하고자 한다.
• 안면 랜드마크를 사용하지 않고도 실제감 있는 일관성 있는 얼굴을 생성할 수 있는 개인정보 보호 기반의 비디오 GAN을 개발하고자 한다.
• 생성된 얼굴의 시간적 일관성을 정량적으로 측정할 수 있는 새로운 평가 지표인 신원 불변성(IdI) 점수를 도입하고자 한다.
• 40만 개의 30프레임 시퀀스로 구성된 대규모 공개 비디오 데이터셋을 제공하여 비디오 기반 얼굴 익명화 모델의 학습 및 평가를 위한 기반을 마련하고자 한다.

제안 방법

• 모든 비디오 프레임에서 얼굴 검출기를 사용해 얼굴를 감지하고 검은 색 페치로 마스킹한다.
• 시간적 일관성을 유지하는 합성 얼굴로 마스킹 영역을 보정하기 위해 비디오 전용 GAN을 학습시킨다.
• 생성기는 마스킹된 입력에 조건을 두고, 인접한 프레임 간의 일관성을 강화하기 위해 시공간 적대적 손실을 사용한다.
• IdI 점수는 연속 프레임의 Facenet 임베딩 간 L2 거리의 평균을 실제 프레임 간 거리로 정규화하여 계산된다.
• 40만 개의 유튜브 기반 비디오 시퀀스로 구성된 새로 구축한 데이터셋을 사용해 모델을 학습하고 평가한다. 모든 데이터는 크리에이티브 커먼즈 라이선스 하에 제공된다.
• 원래 얼굴의 특징나 구조를 유지하지 않기 때문에 안면 랜드마크를 사용하지 않아 개인정보 보호에 기여한다.

실험 결과

연구 질문

• RQ1 안면 랜드마크에 의존하지 않고도 GAN 기반 비디오 보정 모델이 비디오 시퀀스 전반에 걸쳐 시간적으로 일관된 얼굴을 생성할 수 있는가?
• RQ2 시간적 일관성이 인간의 인지와 관련된 방식으로 정량적으로 측정될 수 있는가?
• RQ3 비디오 기반 GAN이 이미지 기반 GAN보다 익명화된 비디오 시퀀스에서 신원 불변성과 시각적 품질을 더 잘 유지할 수 있는가?
• RQ4 제안된 IdI 점수가 생성된 비디오 프레임의 주관적 시간적 일관성과 얼마나 높은 상관관계를 가지는가?

주요 결과

• 제안된 JaGAN 모델은 랜드마크 없는 얼굴 보정 작업에서 FDF 검증 세트에서 최신 기준(FID 점수 1.97)을 달성하였으며, 이는 이전 최고 기록(3.36)을 뛰어넘는 성과이다.
• 비디오 기반 모델은 신원 이동을 줄여, 이미지 기반 모델 대비 IdI 점수 0.48을 기록하였다. 이는 이미지 기반 모델의 0.42보다 높은 성능이다.
• 비디오 모델은 이미지 모델 대비 FVD 점수 59를 기록하여 110에 비해 낮아지며, 더 높은 시각적 품질과 시간적 일관성을 나타낸다.
• IdI 점수는 시간적 일관성을 효과적으로 정량화하며, 실제 얼굴은 IdI 점수 1.00을 기록하고, 비디오 모델은 이미지 모델 대비 신원 안정성에서 48% 향상을 보였다.
• 40만 개의 비디오 시퀀스로 구성된 새로 공개된 데이터셋은 다양한 비디오 기반 얼굴 익명화 모델의 학습 및 평가를 위한 다각도의 공개 기준을 제공한다.
• 시각적 점검 결과, 비디오 기반 모델은 이미지 기반 기준에서 관찰된 플리커와 왜곡 현상을 제거하여 더 자연스럽고 일관성 있는 얼굴 생성을 가능하게 하였다.