[논문 리뷰] Privacy in Deep Learning: A Survey

Fatemehsadat Mireshghallah, Mohammadkazem Taram외 4명|arXiv (Cornell University)|2020. 04. 25.

Privacy-Preserving Technologies in Data참고 문헌 152인용 수 98

한 줄 요약

이 설문은 딥 러닝의 프라이버시 위협을 검토하고, 데이터 집계, 학습, 테스트 시 추론 전반에 걸친 기존 방어 메커니즘을 조사하며, 테스트 시 추론 프라이버시의 격차와 향후 방향을 강조합니다.

ABSTRACT

The ever-growing advances of deep learning in many areas including vision, recommendation systems, natural language processing, etc., have led to the adoption of Deep Neural Networks (DNNs) in production systems. The availability of large datasets and high computational power are the main contributors to these advances. The datasets are usually crowdsourced and may contain sensitive information. This poses serious privacy concerns as this data can be misused or leaked through various vulnerabilities. Even if the cloud provider and the communication link is trusted, there are still threats of inference attacks where an attacker could speculate properties of the data used for training, or find the underlying model architecture and parameters. In this survey, we review the privacy concerns brought by deep learning, and the mitigating techniques introduced to tackle these issues. We also show that there is a gap in the literature regarding test-time inference privacy, and propose possible future research directions.

연구 동기 및 목표

• 딥 러닝 배치에서 크라우드소싱 및 민감한 학습 데이터로부터 발생하는 프라이버시 우려를 제시한다.
• 직접 노출 및 간접 추론 공격을 포함한 심층 학습의 알려진 프라이버시 위협을 분류하고 요약한다.
• 데이터 집계, 학습, 추론의 세 가지 단계에 걸친 프라이버시 보호 메커니즘을 조사한다.
• 특히 테스트 시 추론 프라이버시를 중심으로 문헌의 격차를 식별하고 향후 연구 방향을 제안한다.

제안 방법

• 프라이버시 위협 카탈로그: 직접 정보 노출 및 간접 추론 공격(멤버십 추론, 모델 반전, 하이퍼파라미터/파라미터 추론, 속성 추론).
• 데이터 집계 프라이버시, 프라이빗 트레이닝, 프라이빗 인퍼런스의 세 가지 그룹으로 프라이버시 보호 접근 방식을 분류한다.
• 차등 프라이버시, 안전 계산(HE/SMC), 정보 이론적/프라이버시 인식 방법을 설명하고 비교한다.
• 화이트박스, 블랙박스 접근 및 신뢰도/로짓 사용에 대해 대표적 공격과 방어를 요약한다.

실험 결과

연구 질문

• RQ1 트레이닝 및 추론 중을 포함하여 딥 러닝 모델이 직면한 주요 프라이버시 위협은 무엇인가?
• RQ2 데이터 집계, 프라이빗 트레이닝, 프라이빗 인퍼런스에 대해 어떤 프라이버시 보호 메커니즘이 존재하며 어떻게 비교되는가?
• RQ3 현재 연구의 격차는 특히 테스트 시 추론에서 프라이버시에 대해 어떤 것이 있으며 앞으로 연구가 어디에 중점을 두어야 하는가?

주요 결과

• 프라이버시 위협에는 직접적인 데이터 노출(데이터 관리자, 통신 또는 클라우드 서비스 등을 통해)과 간접 추론 공격(멤버십 추론, 모델/역변, 속성/하이퍼파라미터 추론, 모델 도용)이 포함된다.
• 프라이버시 보호 방법은 주로 데이터 집계, 프라이빗 트레이닝, 프라이빗 인퍼런스의 세 가지 범주로 분류되며, 핵심 기술로는 차등 프라이버시, 동형 암호화, 안전 다자간 계산이 있다.
• 차등 프라이버시는 학습 파이프라인의 여러 지점(입력, 손실, 그래디언트, 출력, 라벨)에서 적용될 수 있으며 구성 합성에는 모멘트 계정자(moment accountant) 같은 메커니즘을 사용하지만, 유용성 손실과 소수 서브그룹 간의 차별적 효과를 야기할 수 있다.
• HE 및 SMC는 암호화된 데이터 위에서의 계산이나 다수 당사자 간의 계산을 가능하게 하지만 계산 및 통신 비용이 높아 신경망에 대한 실용성에 영향을 준다.
• 테스트 시 추론 프라이버시에 관한 문헌의 격차가 두드러지며, 추론 시 사용자 입력 보호에 초점을 맞춘 연구가 학습 대비 상대적으로 적다.