[논문 리뷰] Learning to Anonymize Faces for Privacy Preserving Action Detection

Zhongzheng Ren, Yong Jae Lee외 1명|arXiv (Cornell University)|2018. 03. 30.

Face recognition and analysis참고 문헌 55인용 수 13

한 줄 요약

이 논문은 얼굴 인식 성능을 최소한도로 유지하면서 영상 내 얼굴을 익명화하는 GAN 기반의 적대적 프레임워크를 제안한다. 생성자(비디오 익명화기)가 디세이머너의 얼굴 인식 정확도를 최대화하기 위해 기울기 상승을 통해 훈련됨으로써, 이 방법은 하류의 동작 검출 작업에 미치는 영향을 최소화하면서 효과적인 프라이버시 보호를 달성한다.

ABSTRACT

There is an increasing concern in computer vision devices invading users' privacy by recording unwanted videos. On the one hand, we want the camera systems to recognize important events and assist human daily lives by understanding its videos, but on the other hand we want to ensure that they do not intrude people's privacy. In this paper, we propose a new principled approach for learning a video \emph{face anonymizer}. We use an adversarial training setting in which two competing systems fight: (1) a video anonymizer that modifies the original video to remove privacy-sensitive information while still trying to maximize spatial action detection performance, and (2) a discriminator that tries to extract privacy-sensitive information from the anonymized videos. The end result is a video anonymizer that performs pixel-level modifications to anonymize each person's face, with minimal effect on action detection performance. We experimentally confirm the benefits of our approach compared to conventional hand-crafted anonymization methods including masking, blurring, and noise adding. Code, demo, and more results can be found on our project page https://jason718.github.io/project/privacy/main.html.

연구 동기 및 목표

• 웨어러블 기기와 스마트 카메라 등에서 증가하는 영상 기반 컴퓨터 비전 시스템에서의 프라이버시 침해 문제를 다루기 위해.
• 흐립(Blurring) 및 마스킹과 같은 히우리스틱 기법보다 뛰어난 원칙적인 학습 기반의 영상 익명화 방법을 개발하기 위해.
• 익명화가 하류의 동작 검출 작업 성능을 떨어뜨리지 않도록 보장하기 위해.
• 얼굴 신원을 가림과 동시에 동작 검출에 필수적인 시공간적 단서를 유지하는 시스템을 설계하기 위해.
• 데이터 처리 또는 전송 이전에 프라이버시를 보호할 수 있도록 하드웨어 수준에서 익명화를 구현하기 위해.

제안 방법

• 생성자는 영상 익명화기로 작동하고 디세이머너는 얼굴 신원 분류기로 작용하는 다중 작업 GAN 프레임워크를 사용한다.
• 디세이머너의 얼굴 인식 정확도를 최소화하기 위해 수정된 프레임에서의 분류 오차를 최대화하도록 기울기 상승을 통해 익명화기를 훈련시킨다.
• 익명화가 운동 및 동작 단서를 유지함을 보장하기 위해 동작 검출 모델을 정규화자로 통합한다.
• 적대적 손실을 최적화하여 신원을 가리키는 현실적인 얼굴 수정을 생성하는 익명화기를 최적화한다.
• 공간적 및 시간적 일관성을 유지하면서, 엔드 투 엔드로 미분 가능한 방식으로 익명화기를 영상 프레임에 적용한다.
• 실제 데이터셋(DALY 및 JHMDB)을 사용하여 실제 조건에서 시스템을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드로 학습된 익명화기가 얼굴 신원을 효과적으로 가리키면서도 높은 수준의 동작 검출 성능을 유지할 수 있는가?
• RQ2 얼굴 익명화기와 얼굴 분류기 사이의 적대적 훈련 방식이 기존의 수작업 기반 익명화 기법보다 어떻게 다를 수 있는가?
• RQ3 익명화된 얼굴이 인간과 기계 분류기 모두가 개인을 식별하는 데 얼마나 효과적으로 방해하는가?
• RQ4 익명화 과정이 동작 검출에 필요한 운동 단서의 품질을 떨어뜨리거나 잡음이나 왜곡을 유발하는가?
• RQ5 익명화기가 다양한 신원과 영상 시퀀스 간에 일관되게 작동하는가, 아니면 무작위적인 방식으로 얼굴을 수정하는가?

주요 결과

• 제안된 방법은 수정된 LFW 얼굴에서 66.95%의 얼굴 확인 정확도를 달성했으며, 원본 얼굴의 94.75%보다 훨씬 낮아 효과적인 익명화를 보여준다.
• 인간 실험 참가자들은 수정된 얼굴이 같은 사람인지 맞추는 데 53.3%의 정확도를 보였는데, 이는 랜덤 추측(50%)과 매우 유사하여 인간 수준의 신원 가림을 입증한다.
• 유명인 식별 테스트에서 참가자들은 익명화 후 16명의 유명인 중 19.75%만 정확히 이름을 맞췄으며, 이는 신원 식별 가능성 감소를 확인한다.
• 사용자 연구에서 참가자의 93.3% 이상이 이 기술이 자신의 프라이버시를 보호할 것이라고 믿었으며, 강력한 인지된 보안성(Perceived Security)을 보여준다.
• 모델은 동일한 사람의 프레임 간에 일관되게 신원을 수정함으로써 무작위 노이즈가 아닌 체계적인 신원 변환을 수행함을 시사한다.
• 생성자의 레이블 무작위 최적화는 심각한 왜곡과 뿌연 이미지를 유발했지만, 기울기 상승은 더 현실적이고 신원을 지우는 수정을 만들어냈다.