[논문 리뷰] Better accuracy with quantified privacy: representations learned via reconstructive adversarial network

Sicong Liu, Anshumali Shrivastava외 2명|arXiv (Cornell University)|2019. 01. 25.

Privacy-Preserving Technologies in Data참고 문헌 24인용 수 13

한 줄 요약

이 논문은 적대적 훈련을 통해 표현 학습에서 프라이버시와 유틸리티를 동시에 최적화하는 새로운 딥러닝 프레임워크인 RAN을 제안한다. 인코더, 분류기, 디코더로 구성된 삼단계 아키텍처를 통해 분류 오차(유틸리티)와 재구성 오차(프라이버시)를 동시에 최소화함으로써, 후행 작업에 대해 높은 정확도를 보이며 원본 데이터 재구성에 저항성이 강한 특징을 학습한다. 이는 기준 모델보다 높은 정확도를 달성하면서도 적대적 정규화를 통해 암묵적으로 프라이버시를 향상시킨다.

ABSTRACT

The remarkable success of machine learning, especially deep learning, has produced a variety of cloud-based services for mobile users. Such services require an end user to send data to the service provider, which presents a serious challenge to end-user privacy. To address this concern, prior works either add noise to the data or send features extracted from the raw data. They struggle to balance between the utility and privacy because added noise reduces utility and raw data can be reconstructed from extracted features. This work represents a methodical departure from prior works: we balance between a measure of privacy and another of utility by leveraging adversarial learning to find a sweeter tradeoff. We design an encoder that optimizes against the reconstruction error (a measure of privacy), adversarially by a Decoder, and the inference accuracy (a measure of utility) by a Classifier. The result is RAN, a novel deep model with a new training algorithm that automatically extracts features for classification that are both private and useful. It turns out that adversarially forcing the extracted features to only conveys the intended information required by classification leads to an implicit regularization leading to better classification accuracy than the original model which completely ignores privacy. Thus, we achieve better privacy with better utility, a surprising possibility in machine learning! We conducted extensive experiments on five popular datasets over four training schemes, and demonstrate the superiority of RAN compared with existing alternatives.

연구 동기 및 목표

• 클라우드 기반 머신러닝 서비스에서 데이터 프라이버시와 모델 유틸리티 간의 갈등을 해결하기 위해.
• 재구성 오차를 통해 프라이버시를 정량화하면서 분류 정확도를 최대화하는 방법을 개발하기 위해.
• 적대적 훈련을 통해 프라이버시와 유틸리티를 동시에 최적화하는 종단간 딥 모델을 설계하기 위해.
• 적대적 정규화가 암묵적으로 중복 정보를 제거할 수 있으며, 이는 일반화 능력과 정확도 향상에 기여함을 보여주기 위해.

제안 방법

• RAN은 삼단계 아키텍처를 사용한다: 특징 추출을 위한 인코더, 유틸리티(분류적) 학습을 위한 분류기, 프라이버시(재구성) 학습을 위한 디코더.
• 디코더에 대비하여 인코더를 적대적으로 훈련시켜 재구성 오차를 최대화함으로써 프라이버시를 향상시킨다.
• 분류기는 인코딩된 특징에서의 분류 오차를 최소화하도록 훈련되어 유틸리티를 보장한다.
• 새로운 삼단계 훈련 알고리즘이 분류 학습, 생성 학습(디코더), 그리고 모든 구성 요소의 적대적 보정을 번갈아 수행한다.
• 모델은 이중 기울기(back-propagation)를 사용한다: 하나는 유틸리티를 위한 분류기에서, 다른 하나는 프라이버시를 위한 디코더에서 유도되며, 특징 공간 최적화를 이끈다.
• 프라이버시는 인코딩된 특징에서 원본 데이터의 재구성 오차로 정량화되며, 높은 오차는 더 높은 프라이버시를 의미한다.

실험 결과

연구 질문

• RQ1 적대적 훈련을 활용하여 표현 학습에서 동시에 모델 유틸리티와 프라이버시를 향상시킬 수 있는가?
• RQ2 원본 데이터의 재구성에 저항하도록 모델을 강제하면 일반화 능력 향상과 더 높은 분류 정확도가 달성되는가?
• RQ3 단일 종단간 딥 모델이 기존의 노이즈 추가 또는 특징 추출을 별도로 적용하는 방법보다 더 나은 프라이버시-유틸리티 트레이드오프를 달성할 수 있는가?
• RQ4 적대적 프라이버시 제약 조건에서 발생하는 암묵적 정규화가 특징 품질과 모델 일반화에 어떤 영향을 미치는가?

주요 결과

• RAN은 프라이버시를 忽시한 원본 모델보다 높은 분류 정확도를 달성하여, 프라이버시 제약 조건이 일반화 능력을 향상시킬 수 있음을 보여준다.
• 적대적 훈련 과정은 특징에서 중복 정보를 암묵적으로 제거하여 모델의 강건성과 성능 향상에 기여한다.
• 노이즈가 포함된 특징 추출 및 차별적 프라이버시와 같은 기존 방법보다 RAN은 프라이버시와 유틸리티 모두에서 뛰어난 성능을 보이며, 노이즈 기반 기준 모델보다 더 높은 분류 정확도를 확보한다.
• MNIST, CIFAR-10, ImageNet, Ubisound, HAR 등 다섯 개인 벤치마크 데이터셋에서의 광범위한 실험을 통해 RAN의 프라이버시-유틸리티 균형 잡힌 성능이 입증되었다.
• 재구성 오차 지표는 프라이버시를 효과적으로 정량화하며, 이 오차에 대비한 적대적 훈련을 통해 역공학이 어려운 특징이 생성된다.