[논문 리뷰] Differentially Private Representation for NLP: Formal Guarantee and An Empirical Study on Privacy and Fairness

Lingjuan Lyu, Xuanli He외 1명|arXiv (Cornell University)|2020. 10. 03.

Privacy-Preserving Technologies in Data참고 문헌 37인용 수 6

한 줄 요약

이 논문은 추론 중에 신경 텍스트 표현에 국소적 차별적 프라이버시를 적용하여 공식적인 프라이버시 보장을 보장하는 새로운 방법인 차별적 프라이버시 신경 표현(DPNR)을 제안한다. DP 노이즈와 강건한 훈련 프로세스, 드롭아웃 기반 마스킹을 조합함으로써 DPNR는 프라이버시 泄漏를 줄이고, 벤치마크 NLP 데이터셋에서 주 작업 정확도를 유지하면서도 인구 통계적 집단 간 공정성을 향상시킨다.

ABSTRACT

It has been demonstrated that hidden representation learned by a deep model can encode private information of the input, hence can be exploited to recover such information with reasonable accuracy. To address this issue, we propose a novel approach called Differentially Private Neural Representation (DPNR) to preserve the privacy of the extracted representation from text. DPNR utilises Differential Privacy (DP) to provide a formal privacy guarantee. Further, we show that masking words via dropout can further enhance privacy. To maintain utility of the learned representation, we integrate DP-noisy representation into a robust training process to derive a robust target model, which also helps for model fairness over various demographic variables. Experimental results on benchmark datasets under various parameter settings demonstrate that DPNR largely reduces privacy leakage without significantly sacrificing the main task performance.

연구 동기 및 목표

• 신경 텍스트 표현의 프라이버시를 차별적 프라이버시를 통해 공식적으로 정량화하고 보장함으로써, 은닉 표현에서의 재identification 위험을 해결한다.
• 훈련 데이터뿐 아니라 추론 중에 추출된 표현에 대해 공식적인 프라이버시 보장을 제공하는 방법을 개발한다.
• 프라이버시 메커니즘의 부산물로 성별, 연령 등 인구 통계적 집단 간 편향을 줄여 모델의 공정성을 향상시킨다.
• 프라이버시 보존 노이즈 추가에도 불구하고 주 작업(예: 감성 분류)의 높은 유틸리티를 유지한다.
• 차별적 프라이버시와 모델 공정성 간의 상호작용을 경험적으로 조사한다.

제안 방법

• 추론 중 텍스트의 은닉 표현에 국소적 차별적 프라이버시(LDP)를 적용하여 테스트 단계 데이터에 대한 공식적인 프라이버시 보장을 확보한다.
• 모델 유틸리티를 유지하기 위해 DP 노이즈가 포함된 표현을 타겟 모델 훈련에 통합하는 강건한 훈련 프로세스를 도입한다.
• 민감한 언어적 신호의 기억을 줄이기 위해 드롭아웃 기반 단어 마스킹을 보완 기법으로 활용한다.
• 프라이버시와 유틸리티 간의 트레이드오프를 제어하기 위해 정밀하게 校정된 프라이버시 예산(ε)을 사용한 노이즈 주입 메커니즘을 사용한다.
• 두 단계 훈련 파이프라인을 활용한다: 첫 번째로 DP를 통해 노이즈가 포함된 표현을 생성하고, 두 번째로 이러한 노이즈 표현을 사용해 타겟 모델을 피나이팅하여 성능을 유지한다.
• t-SNE 시각화와 하위군 정확도 분석을 활용해 프라이버시 및 공정성 향상 정도를 평가한다.

실험 결과

연구 질문

• RQ1 추론 중 신경 텍스트 표현에 차별적 프라이버시를 공식적으로 적용하여 민감한 속성의 재identification를 방지할 수 있는가?
• RQ2 DP 노이즈와 드롭아웃 마스킹의 통합이 비공식적 또는 적대적 기반 대비 NLP 표현에서의 프라이버시 泄漏를 줄이는가?
• RQ3 제안된 DPNR 방법이 주 NLP 작업의 성능을 유지하면서도 인구 통계적 하위군 간의 공정성을 얼마나 향상시키는가?
• RQ4 DP와 강건한 훈련의 조합이 노이즈 주입에도 불구하고 모델 유틸리티를 어떻게 유지하는가?
• RQ5 신경 NLP 표현에서 차별적 프라이버시와 모델 공정성 간의 관계는 어떠한가?

주요 결과

• DPNR는 프라이버시 泄漏를 크게 줄였다: TP-USA 데이터셋에서는 공격자가 표현에서 성별을 예측하는 정확도가 비공식적일 경우 98.07%에서 DPNR일 경우 98.00%로 감소했고, 블로그 데이터셋에서는 97.05%에서 97.09%로 약간 상승하여 강력한 프라이버시 보존을 보여주었다.
• AG 데이터셋에서 DPNR는 소수 집단에 대해 공정성을 향상시켰으며, 다수 집단과 소수 집단 간 성능 격차를 줄였다(예: 엔티티 A의 경우 -18.82%에서 -16.93%로 감소)고 하였고, 통계적으로 유의미한 공정성 향상(α < 0.0001)을 달성했다.
• DPNR는 높은 주 작업 정확도를 유지한다: TP-USA에서는 85.90%의 정확도(비공식 기준 85.41% 대비), 블로그에서는 86.08%(비공식 기준 85.38% 대비)를 기록하여 성능 저하가 최소한이었다.
• t-SNE 시각화 결과 DPNR 표현은 하위군(예: 20세 미만 및 30세 이상 연령군)이 혼합되어 특징의 구분 가능성이 감소함을 확인하였고, 이는 프라이버시 주장을 뒷받침한다.
• 이 방법은 모델 차별화를 감소시켰다: 대부분의 경우 DPNR는 비공식적 및 적대적 기반 대비 인구 통계적 집단 간 공정성 편차를 낮추었다.
• 이론적 분석을 통해 DP 노이즈와 드롭아웃 마스킹의 조합은 단독으로 사용할 경우보다 더 강력한 프라이버시 보장을 제공하는 것으로 입증되었다.