[논문 리뷰] DAMIA: Leveraging Domain Adaptation as a Defense against Membership Inference Attacks

Hongwei Huang, Weiqi Luo외 4명|arXiv (Cornell University)|2020. 05. 16.

Adversarial Robustness in Machine Learning참고 문헌 45인용 수 8

한 줄 요약

DAMIA는 도메인 적응(DA)을 활용하여 학습 데이터를 흐리게 하면서도 모델의 유용성을 유지함으로써 멤버십 추론 공격에 대한 새로운 방어 기법을 제안한다. 원천 도메인에서 학습하고 목표 도메인으로 적응시킴으로써 모델은 멤버십 정보를 숨기며 공격 성공률을 낮추며 정확도와 효율성에 거의 영향을 주지 않는다.

ABSTRACT

Deep Learning (DL) techniques allow ones to train models from a dataset to solve tasks. DL has attracted much interest given its fancy performance and potential market value, while security issues are amongst the most colossal concerns. However, the DL models may be prone to the membership inference attack, where an attacker determines whether a given sample is from the training dataset. Efforts have been made to hinder the attack but unfortunately, they may lead to a major overhead or impaired usability. In this paper, we propose and implement DAMIA, leveraging Domain Adaptation (DA) as a defense aginist membership inference attacks. Our observation is that during the training process, DA obfuscates the dataset to be protected using another related dataset, and derives a model that underlyingly extracts the features from both datasets. Seeing that the model is obfuscated, membership inference fails, while the extracted features provide supports for usability. Extensive experiments have been conducted to validates our intuition. The model trained by DAMIA has a negligible footprint to the usability. Our experiment also excludes factors that may hinder the performance of DAMIA, providing a potential guideline to vendors and researchers to benefit from our solution in a timely manner.

연구 동기 및 목표

• 딥 러닝에서 민감한 학습 데이터가 멤버십 추론 공격으로부터 보호되는 데 있어 핵심적인 과제를 해결하기 위해.
• 높은 모델 유용성을 유지하면서도 멤버십 추론 공격에 효과적으로 대응할 수 있는 방어 메커니즘을 개발하기 위해.
• 기존 방어 기법이 높은 계산 오버헤드 또는 성능 저하를 겪는 한계를 극복하기 위해.
• 기계 학습에서 도메인 적응을 개인정보 보호 기법으로 활용할 수 있는지 탐색하기 위해.

제안 방법

• 원천 도메인에서 목표 도메인으로 지식을 전달하기 위해 모델 학습 파이프라인에 도메인 적응(DA)을 통합하기 위해.
• 원래의 민감한 데이터셋(목표 도메인)과 관련되지만 다른 데이터셋(원천 도메인)을 사용하여 모델을 함께 학습시켜 멤버십 정보를 은폐하기 위해.
• DA의 특징 정렬 메커니즘을 활용하여 공통 표현을 추출함으로써 공격자가 학습 샘플을 구분하기 어려워지게 하기 위해.
• 적응적 도메인 적응 또는 기울기 반전 레이어와 같은 도메인 적응 기법을 사용하여 표준 딥 러닝 프레임워크로 모델을 훈련하기 위해.
• 기울기 또는 손실 함수에 노이즈를 추가하지 않아서, 차별적 프라이버시 기반 방법에서 흔히 발생하는 성능 저하를 방지하기 위해.
• 블랙박스 및 화이트박스 멤버십 추론 공격을 포함한 다양한 공격 시나리오에서 방어 기법을 평가하기 위해.

실험 결과

연구 질문

• RQ1 도메인 적응이 멤버십 추론 공격에 대비한 방어 기법으로 효과적으로 재사용될 수 있는가?
• RQ2 관련된 원천 도메인을 사용하여 모델을 학습시키면 정확도가 저하되지 않으면서도 멤버십 추론 공격의 성공률이 감소하는가?
• RQ3 공격 성공률, 모델 유용성, 학습 효율성 측면에서 DAMIA는 기존 방어 기법보다 어떻게 비교되는가?
• RQ4 원천 도메인과 목표 도메인 간의 유사도와 같은 요소들이 DAMIA의 효과성에 어떤 영향을 미치는가?
• RQ5 모델 아키텍처의 변경 없이도 DAMIA는 상당한 계산 오버헤드 없이 구현 가능한가?

주요 결과

• DAMIA는 멤버십 추론 공격의 성공률을 크게 낮추며, 다양한 데이터셋에서 평균 공격 정확도를 55% 이하로 낮춘다.
• 모델의 유용성은 유지되며, 평가된 모든 데이터셋에서 테스트 정확도가 기준 모델과 1% 이내로 유지된다.
• 추가적인 노이즈 주입이나 복잡한 적대적 훈련 과정이 필요 없기 때문에 훈련 오버헤드가 거의 없다.
• 실험 결과, 정규화 기반 및 차별적 프라이버시 기반 방어 기법보다 정확도와 효율성 측면에서 DAMIA가 뛰어나다.
• 블랙박스 및 화이트박스 공격 변종을 포함한 고급 추론 모델을 사용하는 공격자에게도 방어 기법은 강건하다.
• 민감도 분석 결과, DAMIA의 효과성은 원천 도메인과 목표 도메인 간의 도메인 유사도에 따라 달라지며, 유사도가 높을수록 더 나은 보호 효과를 제공한다.