[논문 리뷰] Image Obfuscation for Privacy-Preserving Machine Learning

Mathilde Raynal, Radhakrishna Achanta외 1명|arXiv (Cornell University)|2020. 10. 20.

Adversarial Robustness in Machine Learning참고 문헌 60인용 수 10

한 줄 요약

이 논문은 시각적 프라이버시를 정량적으로 측정하기 위해 인간의 시각 인지와 일치하는 이미지 품질 측정 지표인 SSIM 및 HaarPSI를 사용하여 프라이버시 보존 기계 학습을 위한 이미지 흐림 처리에서의 시각적 프라이버시를 측정하는 방법을 제안한다. 최적의 흐림 수준을 사용할 경우 딥 러닝 모델이 원본에 가까운 정확도(몇 퍼센트 포인트 이하로 낮아지지 않음)를 유지하면서도 인간과 AI 기반의 인식 및 복원 공격에 효과적으로 저항할 수 있음을 보여준다.

ABSTRACT

Privacy becomes a crucial issue when outsourcing the training of machine learning (ML) models to cloud-based platforms offering machine-learning services. While solutions based on cryptographic primitives have been developed, they incur a significant loss in accuracy or training efficiency, and require modifications to the backend architecture. A key challenge we tackle in this paper is the design of image obfuscation schemes that provide enough privacy without significantly degrading the accuracy of the ML model and the efficiency of the training process. In this endeavor, we address another challenge that has persisted so far: quantifying the degree of privacy provided by visual obfuscation mechanisms. We compare the ability of state-of-the-art full-reference quality metrics to concur with human subjects in terms of the degree of obfuscation introduced by a range of techniques. By relying on user surveys and two image datasets, we show that two existing image quality metrics are also well suited to measure the level of privacy in accordance with human subjects as well as AI-based recognition, and can therefore be used for quantifying privacy resulting from obfuscation. With the ability to quantify privacy, we show that we can provide adequate privacy protection to the training image set at the cost of only a few percentage points loss in accuracy.

연구 동기 및 목표

• 이미지 흐림 처리 기법에서 시각적 프라이버시를 정량화할 수 있는 지표의 부족 문제를 해결하기 위해.
• 전체 기준 이미지 품질 지표가 흐림 처리에 대한 인간의 인지와 얼마나 일치하는지 평가하기 위해.
• 프라이버시를 보장하면서도 모델의 유용성을 유지하기 위해 이미지 품질 저하의 수치적 임계값을 설정하기 위해.
• 딥 러닝 기반의 복원 공격에 대한 흐림 처리의 효과성을 평가하기 위해.
• 흐린 데이터로 훈련된 딥 러닝 모델에서 프라이버시-유용성 트레이드오프를 최적화하기 위해.

제안 방법

• 혼합(_mixup_)을 기존의 이미지 흐림 처리 기법(예: 블러링, 픽셀화)과 결합하여 제어 가능한 저하 수준을 가진 다양한 훈련 데이터를 생성하기 위해.
• 두 개의 이미지 데이터셋을 대상으로 사용자 설문 조사를 실시하여 인간이 흐림 처리 수준을 어떻게 인지하는지 평가하기 위해.
• 인간의 인지와 비교하여 이미지 품질 지표(예: SSIM, HaarPSI)의 정합성을 검증하여 프라이버시 인지와 가장 잘 일치하는 지표를 식별하기 위해.
• 선택된 지표(SIM, HaarPSI)를 프라이버시 정량화 도구로 사용하여 수용 가능한 이미지 품질 저하의 객관적 임계값을 정의하기 위해.
• Google Vision AI와 McPherson 등이 제안한 딥 러닝 기반 복원 공격을 사용하여 프라이버시 보호 효과를 테스트하기 위해.
• 다양한 흐림 처리 방법에 대해 프라이버시-유용성 트레이드오프를 평가하여 노이즈와 믹스업이 최적의 조합임을 확인하기 위해.

실험 결과

연구 질문

• RQ1 전체 기준 이미지 품질 지표 중에서 인간의 이미지 흐림 처리 인지와 가장 높은 상관관계를 가지는 것은 무엇인가?
• RQ2 이미지 품질 지표를 사용하여 흐린 이미지의 시각적 프라이버시를 객관적으로 정량화할 수 있는가?
• RQ3 SSIM 또는 HaarPSI로 측정된 이미지 품질 저하 수준이 얼마나 되면 이미지가 더 이상 인간에게 인식 가능하지 않게 되는가?
• RQ4 흐림 처리 기법의 선택이 흐린 데이터로 훈련된 딥 러닝 모델의 정확도에 어떤 영향을 미치는가?
• RQ5 흐린 이미지가 인간 관찰자와 Google Vision과 같은 AI 시스템에 의해 얼마나 잘 인식되는가?

주요 결과

• SSIM과 HaarPSI는 흐림 처리 수준 평가에서 인간의 인지와 가장 일관되게 일치하는 것으로 확인되었다.
• SSIM 지표에서 약 0.4의 임계값이 인간이 이미지를 인식할 수 없게 하면서도 모델의 유용성을 유지하는 데에 충분한 것으로 규명되었다.
• 제안된 프라이버시 정량화 방법은 임계값을 충족할 경우 Google Vision AI의 인식 정확도를 거의 0 수준으로 낮추는 데 성공하였다.
• 노이즈와 믹스업을 조합한 흐림 처리 기법이 가장 우수한 프라이버시-유용성 트레이드오프를 달성하였으며, 모델 정확도는 비흐린 데이터를 사용한 경우에 비해 단지 2~3퍼센트 포인트 낮게 유지되었다.
• 최적의 프라이버시 파rameter를 가진 흐림 처리 기법은 McPherson 등이 제안한 딥 러닝 기반 복원 공격의 성공률을 10% 이하로 크게 감소시켰다.
• 이 연구는 이미지 품질 지표가 신뢰할 수 있는 프라이버시 정량화 도구로 재사용될 수 있음을 확인하였으며, 이는 흐림 처리 수준의 체계적 평가 및 최적화를 가능하게 한다.