[논문 리뷰] AnonymousNet: Natural Face De-Identification with Measurable Privacy

Tao Li, Lei Lin|arXiv (Cornell University)|2019. 04. 19.

Face recognition and analysis참고 문헌 59인용 수 13

한 줄 요약

AnonymousNet은 얼굴 속성 추정, 개인정보 지표 기반 왜곡, GAN 기반 이미지 합성, 그리고 적대적 편향을 결합한 네 단계로 구성된 딥러닝 프레임워크로, 자연스럽고 사진처럼 사실적인 얼굴 익명화를 가능하게 한다. 이는 k-익명성 및 t-근접도와 같은 공식적인 메트릭을 통해 측정 가능하고 제어 가능한 개인정보 보호를 제공하면서도 최신 기술 수준의 이미지 품질을 달성한다.

ABSTRACT

With billions of personal images being generated from social media and cameras of all sorts on a daily basis, security and privacy are unprecedentedly challenged. Although extensive attempts have been made, existing face image de-identification techniques are either insufficient in photo-reality or incapable of balancing privacy and usability qualitatively and quantitatively, i.e., they fail to answer counterfactual questions such as "is it private now?", "how private is it?", and "can it be more private?" In this paper, we propose a novel framework called AnonymousNet, with an effort to address these issues systematically, balance usability, and enhance privacy in a natural and measurable manner. The framework encompasses four stages: facial attribute estimation, privacy-metric-oriented face obfuscation, directed natural image synthesis, and adversarial perturbation. Not only do we achieve the state-of-the-arts in terms of image quality and attribute prediction accuracy, we are also the first to show that facial privacy is measurable, can be factorized, and accordingly be manipulated in a photo-realistic fashion to fulfill different requirements and application scenarios. Experiments further demonstrate the effectiveness of the proposed framework.

연구 동기 및 목표

• 기존의 얼굴 익명화 기법들이 개인정보 보호와 사용성 사이에 정량적·정성적 균형이 부족한 문제를 해결하기 위해.
• k-익명성, l-다양성, t-근접도와 같은 공식적인 개인정보 메트릭을 얼굴 왜곡의 맥락에서 정의함으로써 얼굴 개인정보를 측정 가능하게 하기 위해.
• 정신적 속성은 유지하면서도 신원을 변경한 사진처럼 사실적인 이미지를 생성함으로써 신원 익명화를 보장하기 위해.
• 일반적인 적대적 편향을 통해 외부 딥러닝 기반 감지기의 성능을 저하시키면서도 인간의 인지 능력에는 영향을 최소화함으로써 내성성을 향상시키기 위해.
• 응용 분야에 따라 조절 가능한 개인정보 보호 수준을 제공하는 제어 가능한 프레임워크를 제공하기 위해.

제안 방법

• 성별, 연령, 털 색상 등의 정신적 특징을 추출하기 위해 딥 컨volution 신경망을 사용한다.
• k-익명성 및 t-근접도와 같은 공식적인 개인정보 정의에 기반해 민감한 특징을 수정하기 위한 개인정보 지표 기반 특징 선택 메커니즘을 적용한다.
• 잔차 블록과 역합성 컨볼루션을 사용하여 사진처럼 사실적인 신원 변경 얼굴을 생성하면서도 비민감한 특징을 유지하는 GAN 기반 생성기 활용.
• 실제적인 이미지 생성과 이진 패치 수준의 진위 분류를 위해 패치GAN 판별기 사용.
• 외부 딥러닝 기반 감지기의 성능을 저하시키기 위해 일반적인 적대적 편향을 도입하며, 인간의 인지 능력에는 영향을 최소화한다.
• 모든 단계를 종단 간 프레임워크로 통합하여 제어 가능하고 측정 가능하며 자연스러운 얼굴 익명화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 이미지 왜곡 맥락에서 k-익명성 및 t-근접도와 같은 공식적인 개인정보 메트릭을 사용해 얼굴 개인정보를 측정하고 정량화할 수 있는가?
• RQ2 딥러닝 프레임워크가 사용성은 유지하면서도 신원 익명화를 보장하는 사진처럼 사실적인 얼굴 익명화 이미지를 생성할 수 있는가?
• RQ3 적대적 편향은 얼마나 깊이 딥러닝 기반 얼굴 인식 시스템에 대한 저항력을 향상시킬 수 있는가?
• RQ4 다양한 얼굴 특징은 서로 얼마나 다른 식별 가능성을 가지며, 이는 체계적인 개인정보 보호 제어 방법을 도출하는 데 기여할 수 있는가?
• RQ5 이 프레임워크는 측정 가능한 결과를 제공하면서도 다양한 응용 시나리오에서 조절 가능한 개인정보 보호 수준을 지원할 수 있는가?

주요 결과

• AnonymousNet은 블러링, 흐림처리, 마스킹, 인painting 방법보다 우수한 성능을 보이며, PSNR 20.079, SSIM 0.7894, MS-SSIM 0.8650의 최신 기술 수준의 이미지 품질을 달성한다.
• 시각적 비교 및 정성적 결과를 통해 프레임워크는 인간이 인지하기 자연스러운 외관을 유지하면서도 얼굴을 성공적으로 익명화함을 입증한다.
• 확대 적용된 경우에도 도입된 적대적 편향은 시각적으로 거의 인식되지 않으며, 인지적 품질 저하가 최소한이다.
• 사용자가 k-익명성 및 t-근접도와 같은 공식적인 메트릭을 통해 개인정보 보호 수준을 제어할 수 있도록 함으로써 측정 가능한 개인정보 보호를 가능하게 한다.
• 눈 크기 등 일관된 특징을 유지하면서도 성별, 털 색상, 입술 색상 등의 특징을 제어 가능하게 수정할 수 있다.
• 실험 결과는 개인정보 보호와 사용성의 균형을 확보함을 확인하였으며, '지금은 개인정보 보호가 되었는가?' 및 '얼마나 개인정보 보호가 되었는가?'와 같은 반사적 질문에 대한 답을 제공한다.