[논문 리뷰] Privacy Inference Attacks and Defenses in Cloud-based Deep Neural Network: A Survey

Xiaoyu Zhang, Chao Chen외 4명|arXiv (Cornell University)|2021. 05. 13.

Privacy-Preserving Technologies in Data참고 문헌 138인용 수 4

한 줄 요약

이 종합적 서베이는 클라우드 기반 딥 뉴럴 네트워크(DNN)에서의 프라이버시 유추 공격 및 방어 기법에 대한 포괄적인 분석을 제공하며, 데이터 조작, 학습, 예측 단계 전반에 걸친 위협을 체계적으로 분류한다. 이 연구는 클라우드 기반 머신러닝 프라이버시 게임 프레임워크를 도입하고, 차별적 프라이버시, 적대적 훈련, 암호화 기법 등 최신 방어 기법을 검토하며, 프라이버시, 유틸리티, 효율성 간의 균형을 맞추는 데 있어 핵심 과제를 규명한다.

ABSTRACT

Deep Neural Network (DNN), one of the most powerful machine learning algorithms, is increasingly leveraged to overcome the bottleneck of effectively exploring and analyzing massive data to boost advanced scientific development. It is not a surprise that cloud computing providers offer the cloud-based DNN as an out-of-the-box service. Though there are some benefits from the cloud-based DNN, the interaction mechanism among two or multiple entities in the cloud inevitably induces new privacy risks. This survey presents the most recent findings of privacy attacks and defenses appeared in cloud-based neural network services. We systematically and thoroughly review privacy attacks and defenses in the pipeline of cloud-based DNN service, i.e., data manipulation, training, and prediction. In particular, a new theory, called cloud-based ML privacy game, is extracted from the recently published literature to provide a deep understanding of state-of-the-art research. Finally, the challenges and future work are presented to help researchers to continue to push forward the competitions between privacy attackers and defenders.

연구 동기 및 목표

• 클라우드 기반 딥 뉴럴 네트워크(DNN) 서비스에서 데이터 조작, 학습, 예측 전 단계에 걸쳐 프라이버시 위협을 체계적으로 분석하기.
• 멤버십, 재산성, 모델 역행, 모델 추출 공격의 네 가지 주요 유형의 프라이버시 유추 공격을 분류하고 평가하기.
• 차별적 프라이버시, 적대적 훈련, 워터마킹, 암호화 기법 등 최신 방어 기법을 검토하고 통합하기.
• 클라우드 기반 DNN 프라이버시에서 공격자-방어자 상호작용의 이론적 기반으로서 클라우드 기반 머신러닝 프라이버시 게임 프레임워크 도입하기.
• 안전한 클라우드 기반 DNN에서 프라이버시, 모델 유틸리티, 계산 효율성 간의 지속 가능한 균형을 이루는 데 있어 열려 있는 과제와 향후 연구 방향 규명하기.

제안 방법

• 최근 5년 간의 동료 심사 논문을 대상으로 클라우드 기반 DNN에서의 프라이버시에 관한 체계적 문헌 조사 수행.
• 공격자의 목표와 액세스 수준에 기반해 프라이버시 공격을 네 가지 범주로 분류: 멤버십 유추, 재산성 유추, 모델 역행, 모델 추출.
• 세 가지 차원에 따라 방어 기법 분석: 데이터 수준(예: 차별적 프라이버시, 데이터 흐림), 모델 수준(예: 적대적 훈련, 기울기 마스킹), 시스템 수준(예: 완전 동형 암호화, 보안 다자간 계산).
• 클라우드 기반 머신러닝 프라이버시 게임 프레임워크를 정형화하여 DNN 프라이버시에서의 공격자-방어자 간 전략적 상호작용을 모델링.
• 실제 구현에서의 트레이드오프를 규명하기 위해 방어 기법을 프라이버시 보장 수준, 모델 유틸리티, 계산 효율성 기준으로 평가.
• 다양한 기여자에 맞춤형 프라이버시 예산 할당, 이질적 데이터 기여자에 대한 맞춤형 보호, DNN 훈련 프레임워크에 대한 프라이버시 우선 설계 원칙의 정량화를 중심으로 연구 계획 제안.

실험 결과

연구 질문

• RQ1 클라우드 기반 DNN 서비스에서 데이터 조작, 학습, 예측 단계 전반에 걸쳐 주로 발생하는 프라이버시 위협은 무엇인가?
• RQ2 멤버십, 재산성, 모델 역행, 모델 추출 공격와 같은 다양한 프라이버시 유추 공격 유형이 클라우드 기반 DNN의 취약점을 어떻게 악용하는가?
• RQ3 클라우드 기반 DNN에서 데이터, 모델, 쿼리 프라이버시를 보호하기 위해 가장 효과적인 방어 기법은 무엇이며, 각각의 트레이드오프는 무엇인가?
• RQ4 클라우드 기반 머신러닝 프라이버시 게임 프레임워크는 공격자와 방어자 간의 전략적 상호작용을 어떻게 모델링하고 분석하는 데 활용될 수 있는가?
• RQ5 안전한 DNN 외주화 환경에서 프라이버시, 모델 유틸리티, 계산 효율성 간의 지속 가능한 균형을 이루는 데 있어 핵심 과제는 무엇인가?

주요 결과

• 멤버십 유추 공격는 블랙박스 액세스만으로도 특정 데이터 샘플이 모델의 훈련 세트에 포함되었는지 여부를 성공적으로 판단할 수 있어, 데이터 프라이버시에 심각한 위협을 가한다.
• 모델 역행 공격는 특히 의료 기록과 같이 민감한 데이터로 훈련된 모델의 출력에서 민감한 훈련 데이터 샘플을 재구성할 수 있다.
• 모델 추출 공격는 쿼리 액세스만으로도 높은 정확도로 대상 DNN의 기능을 클론할 수 있어, 모델의 지적 재산권을 약화시킨다.
• 완전 동형 암호화(FHE)와 보안 다자간 계산(SMC)과 같은 암호화 기반 방어 기법은 강력한 프라이버시 보장을 제공하지만, 높은 계산 및 통신 오버헤드를 수반한다.
• 차별적 프라이버시 기법은 정보 泄露를 효과적으로 제한하지만, 프라이버시와 모델 유틸리티 사이에 트레이드오프가 존재하며, 더 강력한 프라이버시는 예측 정확도를 낮춘다.
• 미래 연구는 협업 학습 환경에서 동적이고 개인화된 프라이버시 예산 할당에 초점을 맞춰야 하며, 다양한 참가자의 프라이버시 요구를 충족시키면서도 모델 유틸리티를 유지해야 한다.