[논문 리뷰] DP-Rewrite: Towards Reproducibility and Transparency in Differentially Private Text Rewriting

Timour Igamberdiev, Thomas Arnold외 1명|arXiv (Cornell University)|2022. 08. 22.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

DP-Rewrite는 재현 가능하고 투명한 차등적 비밀유지 텍스트 재작성에 적합한 오픈소스이자 모듈러한 프레임워크로, 개인정보-유용성 트레이드오프의 철저한 평가를 가능하게 한다. 이 프레임워크는 ADePT의 사전학습 단계에서 개인정보 泄露를 탐지하여, 이론적 DP 결함을 수정한 후에도 학습 데이터의 기억현상이 유용성과 개인정보 보호를 해칠 수 있음을 드러낸다.

ABSTRACT

Text rewriting with differential privacy (DP) provides concrete theoretical guarantees for protecting the privacy of individuals in textual documents. In practice, existing systems may lack the means to validate their privacy-preserving claims, leading to problems of transparency and reproducibility. We introduce DP-Rewrite, an open-source framework for differentially private text rewriting which aims to solve these problems by being modular, extensible, and highly customizable. Our system incorporates a variety of downstream datasets, models, pre-training procedures, and evaluation metrics to provide a flexible way to lead and validate private text rewriting research. To demonstrate our software in practice, we provide a set of experiments as a case study on the ADePT DP text rewriting system, detecting a privacy leak in its pre-training approach. Our system is publicly available, and we hope that it will help the community to make DP text rewriting research more accessible and transparent.

연구 동기 및 목표

• 차등적 비밀유지(DP) 텍스트 재작성 시스템에서 투명성과 재현 가능성이 부족한 문제를 해결하기 위해, 공개 코드나 검증 메커니즘이 없는 경우가 많기 때문이다.
• DP 텍스트 재작성 실험을 위한 모듈러하고 확장 가능하며 커스터마이징 가능한 오픈소스 프레임워크를 개발하기 위해이다.
• 기존 DP 텍스트 재작성 시스템, 특히 사전학습 절차에서 개인정보 泄露를 탐지하고 이를 입증하기 위해이다.
• 표준화된 평가 파이프라인을 통해 개인정보 보호 주장의 실증적 검증을 가능하게 하여 DP NLP의 책임성 향상에 기여하기 위해이다.

제안 방법

• DP-Rewrite는 이론적으로 정확한 국소 차등적 비밀유지(LDP)를 적용하기 위해, ADePT의 정확한 재현을 기반으로 한 베이스라인을 구현한다. 이는 라플라스 노이즈를 통한 적절한 적용을 보장한다.
• 클리핑과 노이즈 주입을 통해 $ε$-DP 보장을 확보하는 자동에코더를 사용하여, 여러 데이터셋(예: ATIS, Snips)에서의 사전학습을 지원한다.
• 다운스트림 텍스트 재작성에 대해 조정 가능한 개인정보 보호 예산 $varepsilon$를 제공하여, $varepsilon \in \{\infty, 1000, 100, 10, 1\}$ 범위에서 체계적인 평가가 가능하도록 한다.
• 다운스트림 NLU 작업에서 재작성된 텍스트의 유용성을 평가하기 위해 매크로 평균 F1 점수를 포함한 다수의 평가 지표를 통합한다.
• 사전학습 및 재작성 과정에서 이론적 개인정보 보장을 확보하기 위해 $ell_1$-노름 클리핑을 사용한다.
• 동일한 데이터셋 또는 다른 데이터셋에서 사전학습 및 재작성하는 조건을 비교하는 제어 실험을 가능하게 하여 기억현상과 개인정보 泄露를 탐지할 수 있다.

실험 결과

연구 질문

• RQ1 모듈러하고 오픈소스인 프레임워크가 차등적 비밀유지 텍스트 재작성 연구의 투명성과 재현 가능성을 향상시킬 수 있는가?
• RQ2 ADePT의 사전학습 절차는 이론적 DP 결함을 수정한 후에도 학습 데이터의 기억현상을 유도하는가?
• RQ3 사전학습 데이터셋의 선택이 재작성된 다운스트림 텍스트의 유용성과 개인정보 보호에 어떤 영향을 미치는가?
• RQ4 다양한 개인정보 보호 예산 $varepsilon$가 DP 텍스트 재작성 시스템에서 재작성된 텍스트의 유용성에 어떤 영향을 미치는가?
• RQ5 기존 DP 텍스트 재작성 시스템의 개인정보 보존 주장이 실증적 검증을 통해 얼마나 타당한가?

주요 결과

• 동일한 데이터셋에서 사전학습한 모델을 사용해 재작성할 경우, F1 점수가 크게 향상된다 (예: $varepsilon=1000$일 때 0.94). 반면 다른 데이터셋에서 사전학습한 모델을 사용할 경우 성능은 떨어진다 (예: ATIS 사전학습 모델로 Snips를 재작성했을 때 0.20).
• 조금도 노이즈가 없는 $varepsilon=\infty$ 조건에서도, 데이터셋에서 사전학습한 모델은 그 예시를 기억하여 입력 텍스트가 아니라 학습 데이터에 가까운 재작성 출력을 생성한다.
• 낮은 개인정보 보호 예산 ($varepsilon=10$ 및 $1$)에서는 잠재 표현에 과도한 노이즈가 발생하여 모든 설정에서 유용성이 급격히 감소한다.
• Snips 데이터셋에서 사전학습한 모델을 사용해 Snips를 재작성할 경우, 원본 Snips 성능($F_1=0.94$ 대비 $0.95$)과 유사한 성능을 기록하며, 이는 사전학습 및 재작성 데이터셋이 일치할 경우 높은 유용성을 의미한다.
• ATIS 데이터셋은 크기가 작아 효과적인 사전학습이 어려울 가능성이 있어, ATIS 사전학습 모델로 재작성했을 때 원본 성능($F_1=0.87$ 대비 $F_1=0.73$)보다 낮은 성능을 보였다.
• 프레임워크는 ADePT의 사전학습 전략이 정보를 泄露하고 있음을 성공적으로 탐지하였다. 이는 이론적 DP 결함을 수정한 후에도 재작성 출력이 입력 텍스트보다 사전학습 데이터에 매우 유사하게 나타나기 때문이다.