[논문 리뷰] Privacy-Preserving Deep Action Recognition: An Adversarial Learning Framework and A New Dataset

Zhenyu Wu, Haotao Wang외 3명|arXiv (Cornell University)|2019. 06. 12.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 액션 인식의 유티리티와 익명화를 동시에 최적화하는 새로운 적대적 학습 프레임워크를 제안한다. 이는 민감한 특성(예: 얼굴, 성별, 피부색, 노골적 노출, 관계 등)을 은폐하는 변환을 학습함으로써 이루어진다. 유니버설 프라이버시 보호를 향상시키기 위해 모델 재시작 및 앙상블 전략을 도입하고, 액션과 프라이버시 특성(얼굴, 성별, 피부색, 노골적 노출, 관계)에 대한 프레임별 레이블이 포함된 PA-HMDB51이라는 최초의 벤치마크 데이터셋을 공개하여 실험에서 강력한 프라이버시-유티리티 트레이드오프를 달성한다.

ABSTRACT

We investigate privacy-preserving, video-based action recognition in deep learning, a problem with growing importance in smart camera applications. A novel adversarial training framework is formulated to learn an anonymization transform for input videos such that the trade-off between target utility task performance and the associated privacy budgets is explicitly optimized on the anonymized videos. Notably, the privacy budget, often defined and measured in task-driven contexts, cannot be reliably indicated using any single model performance because strong protection of privacy should sustain against any malicious model that tries to steal private information. To tackle this problem, we propose two new optimization strategies of model restarting and model ensemble to achieve stronger universal privacy protection against any attacker models. Extensive experiments have been carried out and analyzed. On the other hand, given few public datasets available with both utility and privacy labels, the data-driven (supervised) learning cannot exert its full power on this task. We first discuss an innovative heuristic of cross-dataset training and evaluation, enabling the use of multiple single-task datasets (one with target task labels and the other with privacy labels) in our problem. To further address this dataset challenge, we have constructed a new dataset, termed PA-HMDB51, with both target task labels (action) and selected privacy attributes (skin color, face, gender, nudity, and relationship) annotated on a per-frame basis. This first-of-its-kind video dataset and evaluation protocol can greatly facilitate visual privacy research and open up other opportunities. Our codes, models, and the PA-HMDB51 dataset are available at https://github.com/VITA-Group/PA-HMDB51.

연구 동기 및 목표

• 원시 영상 데이터가 얼굴, 성별 등 민감한 특성을 폭 드러낼 수 있는 스마트 카메라 응용 분야에서 증가하는 시각적 프라이버시 문제를 해결하기 위해.
• 액션 인식 유티리티를 유지하면서 프라이버시 泄유를 최소화하는 익명화 변환을 학습하는 딥 러닝 프레임워크를 개발하기 위해.
• 모든 알려지지 않은 공격자 모델에 대응하는 '유니버설 프라이버시 보호' 문제를 해결하기 위해 전략을 설계하기 위해.
• 유용성(액션)과 프라이버시 레이블이 모두 포함된 공개 데이터셋의 부족을 보완하기 위해, 51개의 액션과 5개의 프라이버시 특성(얼굴, 성별, 피부색, 노골적 노출, 관계)에 대한 프레임별 레이블이 포함된 새로운 벤치마크 데이터셋 PA-HMDB51을 구축하기 위해.
• 자동화된 메트릭과 인간 평가를 통한 평가를 통해 프라이버시 보호와 유티리티 유지의 유효성을 검증하기 위해.

제안 방법

• 액션 인식 정확도와 프라이버시 예산 성능을 동시에 최적화하기 위해, 미분 가능한 익명화 변환을 활용하는 적대적 훈련 프레임워크를 수립한다.
• 훈련의 안정성과 성능 향상을 위해 비트 서치, 엔트로피 기반, 모델 재시작의 세 가지 최적화 전략을 적용한다.
• 다양한 공격자 모델에 대한 일반화 능력을 향상시키기 위해 모델 재시작 및 앙상블 기법을 도입하여 '모든 공격자 모델에 대한 보호' 문제(∀ 문제)를 해결한다.
• 기존에 유티리티 또는 프라이버시 레이블이 있는 데이터셋을 활용하기 위해 크로스-데이터셋 훈련 및 평가 프로토콜을 사용하여 도메인 갭 문제를 줄인다.
• 51개의 액션과 5개의 프라이버시 특성(얼굴, 성별, 피부색, 노골적 노출, 관계)에 대한 프레임별 레이블이 포함된 새로운 영상 데이터셋 PA-HMDB51을 구축하여 엔드 투 엔드 평가를 가능하게 한다.
• 유티리티(액션 인식)와 프라이버시(특성 예측) 목표를 통합한 다중 작업 손실을 사용하며, 프라이버시 억제를 위한 적응형 임계값을 적용한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 러닝 프레임워크가 영상 데이터에서 액션 인식 성능과 프라이버시 보호를 효과적으로 균형 잡을 수 있는가?
• RQ2 특정 공격자 모델이 아닌 어떤 잠재적 공격자 모델에도 대응할 수 있는 유니버설 프라이버시 보호는 어떻게 달성할 수 있는가?
• RQ3 모델 재시작 및 앙상블 전략이 알려지지 않은 공격자 모델에 대한 익명화의 강건성을 얼마나 향상시킬 수 있는가?
• RQ4 액션과 프라이버시 레이블이 모두 포함된 새로운 통합 데이터셋에서 제안된 프레임워크의 성능은 어떠한가?
• RQ5 인간 평가자들은 익명화된 영상에서 액션은 식별할 수 있지만, 민감한 특성(예: 얼굴, 성별)은 식별하지 못할 수 있는가?

주요 결과

• M=4일 때 프라이버시 cMAP(comprehensive mean average precision)가 약 8% 감소하면서도 액션 인식 정확도에 대한 손실는 최소화하여 효과적인 프라이버시-유티리티 트레이드오프를 입증한다.
• 모델 재시작 및 앙상블 전략은 특히 알려지지 않은 공격자 모델에 대해 프라이버시 보호를 크게 향상시키며, 기존 베이스라인 방법보다 유니버설 프라이버시 방어에서 뛰어난 성능을 보인다.
• 인간 평가 결과, 익명화된 영상에서도 액션이 여전히 식별 가능하지만, 얼굴 및 성별과 같은 프라이버시 특성은 인간 관찰자에게 더 이상 식별되지 않음을 확인한다.
• 얼굴 특성은 성별보다 더 쉽게 억제됨을 확인하여 비대칭적 보호 비용이 존재하며, 신체 라인과 의복의 단서로 인해 성별은 더 강건함을 시사한다.
• PA-HMDB51 데이터셋은 동일한 데이터에서 프라이버시와 유티리티를 일관되게 평가할 수 있게 하여 이전의 크로스-데이터셋 프로토콜에서 발생하던 도메인 이동 문제를 감소시킨다.
• M=4일 때 Ours-Entropy(restarting) 방법이 나머지 모든 평가 메트릭에서 나머지 방법들(예: 단순 다운샘플링)을 능가하는 최적의 트레이드오프를 달성한다.