[논문 리뷰] Privacy Partitioning: Protecting User Data During the Deep Learning Inference Phase

Jianfeng Chi, Emmanuel Owusu외 5명|arXiv (Cornell University)|2018. 12. 07.

Adversarial Robustness in Machine Learning참고 문헌 39인용 수 17

한 줄 요약

이 논문은 추론 중 사용자 데이터를 보호하기 위해 딥 뉴럴 네트워크를 로컬 및 원격 파artition으로 분할하는 프라이버시 파artitioning 프레임워크를 제안한다. 원격 레이어에서의 泄露를 최소화하기 위해 상호작용적 적대적 네트워크를 훈련시음으로써 강력한 프라이버시 보호를 달성하며, 얼굴 이미지에서 성별과 같은 민감한 속성을 복원하는 것을 방지하면서도 분류 정확도를 손상시키지 않는다.

ABSTRACT

We present a practical method for protecting data during the inference phase of deep learning based on bipartite topology threat modeling and an interactive adversarial deep network construction. We term this approach \emph{Privacy Partitioning}. In the proposed framework, we split the machine learning models and deploy a few layers into users' local devices, and the rest of the layers into a remote server. We propose an approach to protect user's data during the inference phase, while still achieve good classification accuracy. We conduct an experimental evaluation of this approach on benchmark datasets of three computer vision tasks. The experimental results indicate that this approach can be used to significantly attenuate the capacity for an adversary with access to the state-of-the-art deep network's intermediate states to learn privacy-sensitive inputs to the network. For example, we demonstrate that our approach can prevent attackers from inferring the private attributes such as gender from the Face image dataset without sacrificing the classification accuracy of the original machine learning task such as Face Identification.

연구 동기 및 목표

• 중간 레이어 활성화를 통해 민감한 사용자 데이터가 노출될 수 있는 딥 러닝 추론의 증가하는 프라이버시 위험을 해결하기 위해.
• 악성 당사자가 원격 서버 레이어에 액세스하여 입력 데이터에서 비밀 속성(예: 성별, 감정)을 유추하는 위협을 완화하기 위해.
• 기존 딥 러닝 파이프라인과 호환되며 자원 제약이 있는 장치에서 프라이버시 보존 추론을 가능하게 하는 실용적인 비암호화 방법을 개발하기 위해.
• 모델 제공자가 기술 비밀을 보호하면서도 사용자가 추론 중 개인 데이터를 제어할 수 있도록 하기 위해.
• 차별적 프라이버시 및 암호화와 같은 기존 프라이버시 보존 기법을 보완하기 위해 추론 단계에서의 데이터 누출에 초점을 맞추기 위해.

제안 방법

• 딥 뉴럴 네트워크를 사용자 기기에서 구동되는 로컬 파artition(Θₗ)과 신뢰할 수 없는 서버에 있는 원격 파artition(Θᵣ)으로 나누기.
• Θₗ은 신뢰할 수 있고 Θᵣ는 악성일 수 있는 이원적 위협 모델을 사용하여 실제 클라이언트-서버 및 엣지-클라우드 배포 환경을 모델링하기.
• 유용성은 최적화하면서 Θᵣ로의 정보 누출을 최소화하기 위해 상호작용적 적대적 딥 네트워크 구조를 사용해 모델을 훈련하기.
• 사이버네틱스와 게임 이론에서 영감을 얻은 피드백 및 개선 메커니즘을 적용하여 프라이버시-유용성 트레이드오프를 반복적으로 향상시키기.
• 주요 작업(예: 얼굴 식별)에 필요한 최소한의 정보 공유만 허용하고, 비밀 속성 신호를 억제하기.
• 재훈련이 필요 없이 기존의 프라이버시 보존 기법(차별적 프라이버시 및 암호화 프rotocol 포함)과 호환되도록 보장하기.

실험 결과

연구 질문

• RQ1 분할된 딥 러닝 모델 아키텍처가 추론 중 중간 레이어 활성화로부터 악성 당사자가 비밀 속성을 유추하는 능력을 줄일 수 있는가?
• RQ2 원격 레이어에 액세스한 공격자가 민감한 속성(예: 성별, 감정)을 복원할 수 있는지에 대해 프라이버시 파artitioning의 효과는 어떠한가?
• RQ3 프라이버시 누출을 최소화하면서도 주요 작업(예: 얼굴 식별)의 분류 정확도는 어느 정도 유지되는가?
• RQ4 효율성과 실용성 측면에서 기존의 프라이버시 보존 기법(예: 차별적 프라이버시 및 암호화)과 비교해 프라이버시 파artitioning은 어떠한가?
• RQ5 기존 딥 러닝 보안 메커니즘과의 통합이 상당한 아키텍처적 또는 계산적 오버헤드 없이 가능할 수 있는가?

주요 결과

• 프라이버시 파artitioning 프레임워크는 중간 레이어 활성화를 통해 얼굴 이미지에서 성별과 같은 비밀 속성을 복원하는 데 악성 당사자의 능력을 크게 감소시킨다.
• 이 방법은 주요 작업(예: 얼굴 식별)의 분류 정확도를 떨어뜨리지 않으면서도 강력한 프라이버시 보호를 달성하여 높은 유용성을 유지한다.
• 기준 컴퓨터 비전 데이터셋을 대상으로 한 실험 평가 결과, 원격 파artition(Θᵣ)가 최신의 입력 복원 공격 조건에서도 민감한 속성에 대해 최소한의 정보를 泄露하는 것으로 나타났다.
• 암호화 기반 솔루션과 달리 계산 능력이 낮은 장치(예: IoT 및 스마트폰)에 구현하기에 실용적이다.
• 기존의 프라이버시 보존 기법(차별적 프라이버시 및 암호화 프rotocol 포함)과 호환되어 다층 방어 전략을 구현할 수 있다.
• 상호작용적 적대적 훈련 과정이 원격 레이어에서 비밀 속성 신호를 성공적으로 억제하면서도 모델 출력의 작업 관련 특징을 유지한다.