[논문 리뷰] A Hybrid Model for Identity Obfuscation by Face Replacement

Qianru Sun, Ayush Tewari외 4명|arXiv (Cornell University)|2018. 04. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 36인용 수 6

한 줄 요약

이 논문은 파라메트릭 얼굴 모델링과 GAN 기반 이미지 합성 기법을 융합한 하이브리드 신원 은폐 방법을 제안한다. 이 방법은 원본 이미지의 얼굴을 표정과 자세를 유지한 채 다른 신원의 얼굴으로 대체함으로써 기계 인식률을 18.1%로 낮추면서도 높은 이미지 실사성(0.33의 HPS)을 유도하여 기존 방법에 비해 개인정보 보호 및 시각적 품질 측면에서 모두 최고 성능을 기록한다.

ABSTRACT

As more and more personal photos are shared and tagged in social media, avoiding privacy risks such as unintended recognition becomes increasingly challenging. We propose a new hybrid approach to obfuscate identities in photos by head replacement. Our approach combines state of the art parametric face synthesis with latest advances in Generative Adversarial Networks (GAN) for data-driven image synthesis. On the one hand, the parametric part of our method gives us control over the facial parameters and allows for explicit manipulation of the identity. On the other hand, the data-driven aspects allow for adding fine details and overall realism as well as seamless blending into the scene context. In our experiments, we show highly realistic output of our system that improves over the previous state of the art in obfuscation rate while preserving a higher similarity to the original image content.

연구 동기 및 목표

• 소셜 미디어에서 개인 사진이 광범위하게 공유되고 있는 상황에서 증가하는 개인정보 유출 위협을 해결하기 위해.
• 자연스럽지 않은 잔상, 낮은 실사성, 제어 불가능성 등의 문제점을 겪고 있는 기존 은폐 기법의 한계를 극복하기 위해.
• 기계 인식 시스템과 인간 관찰자 모두로부터 신원을 효과적으로 숨기면서도 사진 수준의 실사성을 유지하는 방법을 개발하기 위해.
• 제어 가능한 파라메트릭 얼굴 모델과 데이터 기반 GAN의 실사성 특성을 융합하여 은폐 성능을 향상시키기 위해.

제안 방법

• 이 방법은 원본 사람의 표정과 자세를 유지한 채 새로운 신원의 얼굴을 파라메트릭 3D 얼굴 모델을 사용해 재구성하고 렌더링한다.
• 원본 얼굴 영역을 다른 신원의 렌더링된 얼굴로 대체하며, 파rameter 조절을 통해 얼굴 특징을 유지한다.
• 조건부 GAN을 학습시켜 렌더링된 얼굴과 은폐된 배경 정보를 입력으로 받아 머리 전체 영역(모발 및 세부 정보 포함)을 보정하고 합성한다.
• GAN 단계는 사실적인 세부 정보를 추가하고 장면의 배경과 자연스럽게 융합되도록 하여 눈에 띄는 잔상 감소를 도모한다.
• 전체 프로세스는 엔드 투 엔드로 학습되며, GAN은 전반적인 장면의 맥락을 기반으로 렌더링된 얼굴를 개선하도록 학습된다.
• HPS(지각적 이미지 품질) 및 기계 및 인간 인식자에서의 인식률과 같은 지표를 사용해 시스템을 평가한다.

실험 결과

연구 질문

• RQ1 순수하게 데이터 기반 또는 모델 기반 방법만을 사용하는 것에 비해, 파라메트릭 얼굴 모델링과 GAN 기반 합성 기법을 융합한 하이브리드 접근 방식이 더 나은 신원 은폐 성능을 달성할 수 있는가?
• RQ2 명시적인 신원 제어와 데이터 기반 실사성의 조합이 개인정보 보호성과 이미지 품질 간의 균형에 어떤 영향을 미치는가?
• RQ3 얼굴 및 모발 영역에 가해진 수정이 인식률과 시각적 실사성에 어느 정도의 영향을 미치는가?
• RQ4 이 방법이 기계 인식 시스템과 인간 관찰자를 동시에 혼동시킬 수 있는가?
• RQ5 다양한 입력 모odal(예: 흐린 이미지, 검은색 처리된 이미지, 원본 이미지)에서 이미지 품질과 은폐 효과성 간의 최적의 트레이드오프는 무엇인가?

주요 결과

• 제안된 방법은 테스트 세트에서 기계 인식률을 18.1%로 낮추어 이전의 SOTA 방법보다 유의미하게 낮춘다.
• 이 방법은 높은 이미지 품질을 유지하여, 유사한 개인정보 보호 조건 하에서 이전 SOTA 방법의 0.15 HPS에 비해 상당히 뛰어난 0.33 HPS를 기록한다.
• 멀리 떨어진 사람의 신원으로 렌더링된 얼굴로 대체한 Replacer15 방식은 유사한 신원을 사용한 경우에 비해 인간 인식 성능을 25.1% 낮춘다.
• 모발 영역을 흐리게 처리하면 인식률이 25.8%로 떨어지며, 이는 모발 및 주변 머리 영역이 중요한 신원 정보를 담고 있음을 시사한다.
• 은폐 효과성과 시각적 실사성 측면에서 베이스라인을 모두 능가하며, 가장 우수한 균형은 검은색 처리된 얼굴 및 모발 + Replacer15 구성에서 확보된다.
• 산점도 분석 결과, 사용자는 원하는 개인정보 보호 수준과 품질 제약 조건에 따라 최적의 설정을 선택할 수 있음을 확인할 수 있다.