[논문 리뷰] Towards Privacy-Preserving Visual Recognition via Adversarial Training: A Pilot Study

Zhenyu Wu, Zhangyang Wang외 2명|arXiv (Cornell University)|2018. 07. 22.

Adversarial Robustness in Machine Learning참고 문헌 63인용 수 18

한 줄 요약

이 논문은 행동 인식 성능와 프라이버시 예산 사이의 트레이드오프를 최적화함으로써 시각적 인식에서 프라이버시를 유지하기 위해 열악한 변환을 학습하는 적대적 훈련 프레임워크를 제안한다. 비공개 해커 모델에 대한 일반화를 향상시키기 위해 예산 모델 재시작 및 앙상블 기법을 도입하여, UCF-101 및 VISPR 데이터셋에서 높은 행동 인식 정확도를 유지하면서도 강력한 프라이버시 보호 성능을 달성한다.

ABSTRACT

This paper aims to improve privacy-preserving visual recognition, an increasingly demanded feature in smart camera applications, by formulating a unique adversarial training framework. The proposed framework explicitly learns a degradation transform for the original video inputs, in order to optimize the trade-off between target task performance and the associated privacy budgets on the degraded video. A notable challenge is that the privacy budget, often defined and measured in task-driven contexts, cannot be reliably indicated using any single model performance, because a strong protection of privacy has to sustain against any possible model that tries to hack privacy information. Such an uncommon situation has motivated us to propose two strategies, i.e., budget model restarting and ensemble, to enhance the generalization of the learned degradation on protecting privacy against unseen hacker models. Novel training strategies, evaluation protocols, and result visualization methods have been designed accordingly. Two experiments on privacy-preserving action recognition, with privacy budgets defined in various ways, manifest the compelling effectiveness of the proposed framework in simultaneously maintaining high target task (action recognition) performance while suppressing the privacy breach risk.

연구 동기 및 목표

• 스마트 카메라 시스템에서 목표 작업(예: 행동 인식)의 유용성을 훼손하지 않으면서 시각적 프라이버시를 보호하는 과제를 해결하기 위해.
• 단일 적대자뿐 아니라 모든 잠재적 해커 모델에 대해 강건한, 작업 기반의 프라이버시 예산을 정의하기 위해.
• 목표 작업과 관련된 특징을 유지하면서도 프라이버시 민감도가 높은 특징을 은폐하는 일반화 가능한 손상 변환을 개발하기 위해.
• 모든 가능한 추론 모델에 대해 프라이버시 보호를 보장하는 '모든 도전 과제(∀ challenge)'를 해결하기 위해 새로운 훈련 전략을 통해.
• UCF-101 및 VISPR에서 교차 데이터셋 훈련 및 평가를 통해 프라이버시 보존 시각적 인식에 대한 벤치마크를 수립하기 위해.

제안 방법

• 프라이버시 보존 표현으로 원시 영상 입력을 변환하는 공유된 손상 네트워크 $f_d$ 를 사용하는 프레임워크이다.
• 두 파이프라인을 동시에 훈련한다: UCF-101에서의 목표 작업(행동 인식)을 위한 $f_d + f_T$ 파이프라인과, VISPR에서의 프라이버시 억제를 위한 $f_d + f_b$ 파이프라인으로, 여기서 $f_b$ 는 프라이버시 특성에 대한 예산 모델이다.
• 손상 네트워크 $f_d$ 는 목표 작업 손실을 최소화하고 프라이버시 특성 예측 손실을 최대화하도록 적대적 훈련을 통해 최적화된다.
• 프라이버시 인fer 모델에 대한 일반화를 향상시키기 위해 예산 모델 재시작 및 앙상블 전략을 적용한다.
• 새로운 평가 프로토콜은 교차 데이터셋 훈련 및 테스트를 사용한다: $f_d$ 는 UCF-101 및 VISPR에서 훈련되고, 행동 인식 평가에 UCF-101에서, 프라이버시 억제 평가에 VISPR에서 평가된다.
• 프라이버시 예산은 민감한 특성의 정확한 예측을 방지하는 손실 $L_B$ 를 통해 정의되며, $\mathcal{B}$ 는 보호되어야 할 프라이버시 특성의 집합을 나타낸다.

실험 결과

연구 질문

• RQ1 적대적 훈련 프레임워크가 다양한, 예측할 수 없는 모델에 대해 높은 행동 인식 성능와 강력한 프라이버시 보호를 효과적으로 균형 잡을 수 있는가?
• RQ2 어떻게 알려지지 않은 프라이버시 인fer 모델에 대해 일반화 가능한 손상 변환을 학습할 수 있는가? 이는 '모든 도전 과제(∀ challenge)'를 해결하기 위함이다.
• RQ3 예산 모델 재시작 및 앙성화가 프라이버시 보존 표현의 강건성에 얼마나 기여하는가?
• RQ4 간단한 다운샘플링 또는 슈퍼해상도 기법과 비교해 볼 때, 제안된 프레임워크는 프라이버시-유용성 트레이드오프에서 어떤 성능을 보이는가?
• RQ5 UCF-101 및 VISPR에서의 교차 데이터셋 훈련이 도메인 이동이 존재함에도 불구하고 효과적인 프라이버시 보존 인식을 가능하게 하는가?

주요 결과

• 제안된 적대적 훈련 프레임워크는 기준 방법에 비해 VISPR-17 및 VISPR-7 벤치마크에서 뛰어난 프라이버시-유용성 트레이드오프 성능을 달성한다.
• 예산 모델 앙성화 및 재시작 기법을 사용함으로써 손상 네트워크 $f_d$ 의 일반화 능력이 크게 향상되어 다양한 공격자 모델에 대한 프라이버시 泄露가 감소한다.
• 심지어 교차 데이터셋 훈련(UCF-101에서 행동 인식, VISPR에서 프라이버시 억제)을 적용하더라도, 두 작업 모두 높은 성능를 유지한다.
• 간단한 다운샘플링 및 슈퍼해상도 기법은 경쟁 가능한 트레이드오프를 달성하지 못하며, 효과적인 프라이버시 보존을 위해 적대적 훈련이 필수적임을 시사한다.
• 프레임워크는 VISPR-17 및 VISPR-7에서 프라이버시 특성 예측 정확도를 감소시켜 민감한 정보의 효과적인 억제를 보이며, 동시에 행동 인식 성능를 유지함을 입증한다.