[논문 리뷰] A Comprehensive Analysis of Information Leakage in Deep Transfer Learning

Cen Chen, Bingzhe Wu외 3명|arXiv (Cornell University)|2020. 09. 04.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 12

한 줄 요약

이 논문은 딥 전이 학습에서의 정보 泄露에 대한 최초의 종합적 분석을 제시하며, 방법을 모델 기반, 매핑 기반, 파라미터 기반 파라다임으로 분류한다. 모든 세 가지 파라다임이 표적 공격을 통해 의도하지 않은 회원성 및 성질 정보를 泄露하고 있음을 입증하며, 이러한 개인정보 위험을 완화하기 위한 방어 전략을 평가한다.

ABSTRACT

Transfer learning is widely used for transferring knowledge from a source domain to the target domain where the labeled data is scarce. Recently, deep transfer learning has achieved remarkable progress in various applications. However, the source and target datasets usually belong to two different organizations in many real-world scenarios, potential privacy issues in deep transfer learning are posed. In this study, to thoroughly analyze the potential privacy leakage in deep transfer learning, we first divide previous methods into three categories. Based on that, we demonstrate specific threats that lead to unintentional privacy leakage in each category. Additionally, we also provide some solutions to prevent these threats. To the best of our knowledge, our study is the first to provide a thorough analysis of the information leakage issues in deep transfer learning methods and provide potential solutions to the issue. Extensive experiments on two public datasets and an industry dataset are conducted to show the privacy leakage under different deep transfer learning settings and defense solution effectiveness.

연구 동기 및 목표

• 소스 도메인과 타겟 도메인 간의 상호작용 패턴에 기반해 딥 전이 학습 방법을 식별하고 분류함으로써, 프라이버시 泄露 위험에 초점을 맞춘다.
• 각 전이 학습 파라다임에서 의도하지 않은 정보 泄露가 어떻게 발생하는지, 특히 회원성 및 성질 추론에 대해 조사한다.
• 각 파라다임에 맞춰 표적 회원성 및 성질 추론 공격을 설계하고 평가하여 실제 세계의 프라이버시 위협을 입증한다.
• 기울기 클리핑, 노이즈 주입, 모델 디스틸레이션과 같은 일반적인 방어 기법이 정보 泄露를 줄이는 데 얼마나 효과적인지 평가한다.
• 취약점과 완화 전략을 제공함으로써, 프라이버시 보존형 딥 전이 학습을 위한 기초 프레임워크를 제공한다.

제안 방법

• 딥 전이 학습을 세 가지 파라다임으로 분류한다: 모델 기반(전체 모델 및 파라미터 공유), 매핑 기반(특징 표현 공유), 파라미터 기반(공동 학습 중 기울기 공유).
• 공격자가 소스 모델에 블랙박스 액세스할 수 있는 조건에서, 표적 공격을 통해 학습 세트에 포함된 샘플인지 여부를 판단하는 모델 기반 파라다임을 위한 회원성 추론 공격을 설계한다.
• 매핑 기반 및 파라미터 기반 파라다임을 위한 성질 추론 공격을 개발하며, 여기서 공격자는 공유된 특징이나 기울기를 통해 소스 데이터의 통계적 성질을 추론한다.
• 파라다임에 따라 화이트박스 또는 블랙박스 공격 설정을 사용하며, 모델 출력 또는 기울기를 바탕으로 회원성 또는 성질을 예측하는 데 사용되는 훈련된 공격 분류기 모델을 활용한다.
• 기울기 클리핑, 노이즈 주입, 지식 디스틸레이션을 포함한 방어 기법을 평가하여, 모델 유틸리티를 유지하면서도 泄露를 줄인다.
• 공개 및 산업 데이터셋을 대상으로 광범위한 실험을 수행하여, 모든 세 가지 파라다임에서 공격 성공률과 방어 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 모델 기반, 매핑 기반, 파라미터 기반의 다양한 딥 전이 학습 파라다임은 정보 泄露에 대해 어떻게 서로 다른 민감도를 보이는가?
• RQ2 모델 기반 딥 전이 학습에서 회원성 추론 공격가 얼마나 개인정보를 침해할 수 있는가?
• RQ3 공유된 특징이나 기울기가 존재할 경우, 성질 추론 공격가 소스 데이터셋의 민감한 속성을 드러낼 수 있는가?
• RQ4 기울기 클리핑 및 노이즈 주입과 같은 일반적인 방어 기법이 모든 세 가지 파라다임에서 정보 泄露를 얼마나 효과적으로 줄일 수 있는가?
• RQ5 다양한 泄露 시나리오 하에서, 프라이버시 보호와 모델 성능 간의 상충 관계는 어떻게 나타나는가?

주요 결과

• 모델 기반, 매핑 기반, 파라미터 기반의 세 가지 딥 전이 학습 파라다임 모두 표적 추론 공격 하에서 의도하지 않은 회원성 및 성질 정보를 泄露한다.
• 모델 기반 방법은 회원성 추론 공격에 취약하며, 공격자가 모델에 액세스할 수 있는 일부 설정에서는 공격 성공률가 80% 이상을 초과한다.
• 매핑 기반 및 파라미터 기반 파라다임은 기울기나 특징이 노이즈 없이 공유될 경우 특히 성질 추론 공격에 취약하다.
• 배치 수준에서 평균 기울기를 공유하는 파라미터 기반 방법은 개별 기울기를 공유하는 방법보다 훨씬 적은 성질 정보를 泄露한다.
• 기울기 클리핑 및 노이즈 주입과 같은 방어 조치는 泄露를 줄이지만, 특히 고차원 또는 복잡한 데이터셋에서는 모델 정확도가 저하될 수 있다.
• 지식 디스틸레이션 및 모델 디스틸레이션 기법은 특히 모델 기반 환경에서 유틸리티를 유지하면서도 정보 泄露를 줄이는 데 효과적임을 보여주며, 잠재력이 있다.