[논문 리뷰] DeepObfuscator: Obfuscating Intermediate Representations with Privacy-Preserving Adversarial Learning on Smartphones

Ang Li, Jiayi Guo외 3명|arXiv (Cornell University)|2019. 09. 09.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 8

한 줄 요약

DeepObfuscator는 스마트폰에서 중간 특징을 가림으로써 원본 이미지 복원 및 성별, 연령과 같은 비밀 정보 속성의 추론을 방지하는 프라이버시 보존형 적대적 훈련 프레임워크이다. 재구성기 및 분류기와의 적대적 훈련을 통해 MS-SSIM을 0.9458에서 0.3175로 감소시키고, 비밀 속성 정확도를 랜덤 추측 수준(성별에 대해 58.85%)으로 낮추지만, 의도한 분류 정확도는 2% 감소에 그친다.

ABSTRACT

Deep learning has been widely applied in many computer vision applications, with remarkable success. However, running deep learning models on mobile devices is generally challenging due to the limitation of computing resources. A popular alternative is to use cloud services to run deep learning models to process raw data. This, however, imposes privacy risks. Some prior arts proposed sending the features extracted from raw data to the cloud. Unfortunately, these extracted features can still be exploited by attackers to recover raw images and to infer embedded private attributes. In this paper, we propose an adversarial training framework, DeepObfuscator, which prevents the usage of the features for reconstruction of the raw images and inference of private attributes. This is done while retaining useful information for the intended cloud service. DeepObfuscator includes a learnable obfuscator that is designed to hide privacy-related sensitive information from the features by performing our proposed adversarial training algorithm. The proposed algorithm is designed by simulating the game between an attacker who makes efforts to reconstruct raw image and infer private attributes from the extracted features and a defender who aims to protect user privacy. By deploying the trained obfuscator on the smartphone, features can be locally extracted and then sent to the cloud. Our experiments on CelebA and LFW datasets show that the quality of the reconstructed images from the obfuscated features of the raw image is dramatically decreased from 0.9458 to 0.3175 in terms of multi-scale structural similarity. The person in the reconstructed image, hence, becomes hardly to be re-identified. The classification accuracy of the inferred private attributes that can be achieved by the attacker is significantly reduced to a random-guessing level.

연구 동기 및 목표

• 클라우드 기반 딥러닝에서의 프라이버시 泄露를 방지하기 위해 추출된 특징에서 원본 이미지의 복원을 금지한다.
• 클라우드로 전송되는 중간 표현에서 비밀 속성(예: 성별, 연령)의 추론을 방어한다.
• 강력한 가림 처리에도 불구하고 의도한 분류 작업(예: 이미지 분류)에 대해 높은 유틸리티를 유지한다.
• 효율적인 모델 설계를 통해 자원 제약이 있는 스마트폰에서 실시간 배포를 가능하게 한다.
• 통합된 적대적 훈련을 통해 이미지 복원 및 비밀 속성 추론 공격을 동시에 방어한다.

제안 방법

• 학습 가능한 가림기, 클라우드 분류기, 그리고 두 개의 적대 모델(재구성기 및 분류기)을 포함하는 엔드 투 엔드 적대적 훈련 프레임워크를 제안한다.
• 가림기는 주된 작업의 유틸리티 손실을 최소화하면서도, 적대 모델이 원본 이미지를 재구성하거나 비밀 속성을 추론하는 데 실패하도록 훈련된다.
• 적대적 재구성기의 인지적 손실로 다중 척도 구조적 유사도(MS-SSIM)를 사용하여 인간의 시각적 인지에 더 잘 부합하도록 유럽 거리 척도를 대체한다.
• GAN 유사 최소-최대 게임을 활용: 가림기는 프라이버시를 드러내는 정보를 숨기고, 적대 모델은 이를 복원하려 시도함으로써 적대적 경쟁을 통해 강력한 방어를 구축한다.
• 훈련된 가림기를 스마트폰에 배포하여 현지에서 원본 이미지를 처리하고, 클라우드로 전송하기 전에 프라이버시 보호 특징을 생성한다.
• 이중 적대 손실 도입: 이미지 복원을 위한 손실(MS-SSIM 기반)과 비밀 속성 추론을 위한 손실(교차 엔트로피), 모두 통합된 훈련 체계에서 최적화된다.

실험 결과

연구 질문

• RQ1 가림 프레임워크는 중간 특징에서 이미지 복원과 비밀 속성 추론을 동시에 방지할 수 있는가?
• RQ2 제안된 적대적 훈련 프레임워크는 재구성된 이미지의 인지적 품질을 얼마나 낮추며, 주된 작업의 유틸리티는 유지하는가?
• RQ3 의도한 클라우드 기반 분류 작업의 정확도는 어느 정도 저하되는가?
• RQ4 가로된 특징은 데이터셋 간에 전이 가능한가? 일반화 능력과 실세계 적용 가능성 여부를 보여주는가?
• RQ5 모바일 장치에 배포했을 때 가림기의 실시간 성능은 어떠한가?

주요 결과

• 원본 이미지와 재구성된 이미지 간의 MS-SSIM은 0.9458에서 0.3175로 감소하여 재구성된 이미지가 인지적으로 식별 불가능하고, 사람의 신원이 더 이상 파악되지 않음을 나타낸다.
• 성별과 같은 비밀 속성의 분류 정확도는 97.36%에서 58.85%로 감소하여 랜덤 추측 수준(50%)에 가까워졌다.
• 가림 처리 후 클라우드에서의 의도한 이미지 분류 작업 정확도는 오직 2% 감소하여 강력한 프라이버시-유틸리티 트레이드오프를 입증했다.
• 다양한 데이터셋 간 평가를 통해 가림기의 전이 가능성 확인하여, 다양한 데이터 분포에 걸쳐 강건성과 일반화 능력을 입증했다.
• 가림기는 스마트폰에서 실시간 성능를 달성하여 모바일 및 엣지 환경에의 배포 가능성 확인했다.
• PAN에서 사용하는 유럽 거리 척도로 손실 함수를 대체한 경우 재구성된 이미지가 여전히 식별 가능한 얼굴 특징을 유지하는 반면, DeepObfuscator의 MS-SSIM 기반 손실은 훨씬 더 강력한 프라이버시 보호 효과를 보였다.