[논문 리뷰] TEM: High Utility Metric Differential Privacy on Text

Ricardo Silva Carvalho, Theodore Vasiloudis외 1명|arXiv (Cornell University)|2021. 07. 16.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

이 논문은 텍스트 데이터를 위한 새로운 비차별적(private) 방법인 절단 지수적 기법(TEM)을 제안한다. 이 기법은 거리 기반 점수 시스템을 사용해 후보 단어 집합에서 비차별적 단어를 선택하며, 임베딩 공간의 밀도에 따라 적응형 노이즈 캘리브레이션을 가능하게 한다. TEM은 동일한 비밀유지 예산(privacy budget) 하에서 기존 최고 수준의 방법보다 유용성(utility)을 크게 향상시키며, 임의의 거리 척도를 지원하고 민감한 데이터로 훈련된 임베딩도 허용한다.

ABSTRACT

Ensuring the privacy of users whose data are used to train Natural Language Processing (NLP) models is necessary to build and maintain customer trust. Differential Privacy (DP) has emerged as the most successful method to protect the privacy of individuals. However, applying DP to the NLP domain comes with unique challenges. The most successful previous methods use a generalization of DP for metric spaces, and apply the privatization by adding noise to inputs in the metric space of word embeddings. However, these methods assume that one specific distance measure is being used, ignore the density of the space around the input, and assume the embeddings used have been trained on non-sensitive data. In this work we propose Truncated Exponential Mechanism (TEM), a general method that allows the privatization of words using any distance metric, on embeddings that can be trained on sensitive data. Our method makes use of the exponential mechanism to turn the privatization step into a \emph{selection problem}. This allows the noise applied to be calibrated to the density of the embedding space around the input, and makes domain adaptation possible for the embeddings. In our experiments, we demonstrate that our method significantly outperforms the state-of-the-art in terms of utility for the same level of privacy, while providing more flexibility in the metric selection.

연구 동기 및 목표

• 기존의 거리 기반 비차별적 기법이 고정된 거리 척도를 가정하고, 임베딩 공간의 밀도를 忽略하며, 비민감한 임베딩을 전제로 하는 한계를 해결하기 위해.
• 임의의 거리 척도를 지원하고 민감한 데이터로 훈련된 단어 임베딩을 위한 도메인 적응을 가능하게 하는 일반 목적의 기법을 개발하기 위해.
• 지역적 임베딩 공간 밀도에 기반한 노이즈 주입 캘리브레이션을 통해 비차별적 NLP의 유용성을 향상시키기 위해.
• 절단과 구름 노이즈 샘플링을 통해 기존의 지수적 기법 기반 접근법에 비해 계산 효율성이 높은 변형을 제안하기 위해.

제안 방법

• TEM은 지수적 기법을 사용해 단어 비차별화를 선택 문제로 공식화하며, 후보 단어는 임베딩 거리 공간 내의 유사도 비례 확률로 선택된다.
• 계산 효율성을 향리하기 위해, 검색 공간을 입력에서 정해진 거리 γ 이내의 단어로 제한하기 위해 절단 단계를 적용한다.
• 지수적 기법의 정확한 확률 계산 없이도 근사화하기 위해, 구름 분포를 가진 난수 변수를 통해 노이즈를 주입한다.
• 유효한 거리 함수(예: 유클리드, 코사인)를 사용해 임베딩 공간의 척도를 정의할 수 있어, 척도 선택의 유연성을 제공한다.
• 정의된 임계값을 초월하는 모든 단어를 나타내는 특수 기호 ⊥ 이 도입되며, 이는 선택되었을 경우 균일하게 샘플링되는 그룹으로 처리된다.
• 알고리즘은 공식적으로 ε-거리 기반 비차별적 기법을 만족하며, 원래의 지수적 기법과 분포적으로 동일함을 입증하였다.

(a) Utility Evaluation

실험 결과

연구 질문

• RQ1 임베딩 공간에서 임의의 거리 척도를 지원하는 텍스트 데이터를 위한 비차별적 기법을 설계할 수 있는가?
• RQ2 지역적 임베딩 공간 밀도에 기반해 노이즈 캘리브레이션을 어떻게 조정할 수 있는가? 이는 유용성을 향상시키는 데 기여한다.
• RQ3 강력한 비밀유지 보장을 유지하면서, NLP에서 단어 선택을 위한 지수적 기법의 계산 효율성이 높은 변형을 어떻게 구성할 수 있는가?
• RQ4 제안된 방법은 동일한 비밀유지 예산 하에서 기존 최고 수준의 방법보다 유용성 면에서 뛰어나게 성능을 발휘하는가?
• RQ5 민감한 데이터로 훈련된 단어 임베딩이 최종 기법의 비밀유지 보장을 해치지 않고 사용될 수 있는가?

주요 결과

• TEM은 동일한 비밀유지 예산(ε = 1.0) 하에서 기존 최고 수준의 Madlib 기법보다 유용성이 뚜렷이 높으며, IMDB 감성 분류 작업에서 정확도가 12.5% 향상되었다.
• 강력한 비밀유지 보장을 유지하며, 논문에서 공식적으로 입증된 바와 같이 ε-거리 기반 비차별적 기법을 만족한다.
• 지역적 임베딩 공간 밀도에 기반한 노이즈 조정 덕분에, 단어 유사도가 높은 고밀도 영역에서의 유용성 손실을 줄였다.
• 사전 처리 후에 각 입력에 대해 O(1) 후보 검색 시간을 확보한 계산 효율성 높은 TEM 버전(알고리즘 3)은 대규모 어휘에 대해 확장 가능하다.
• 구름 노이즈의 사용은 정확한 확률 계산 없이도 효율적인 샘플링을 가능하게 하여, 비밀유지 보장을 유지하면서도 런타임 성능을 향상시켰다.
• 기존 방법이 비민감한 표현을 전제로 하는 것과 달리, TEM은 민감한 데이터로 훈련된 도메인 적응형 임베딩을 지원한다.

(b) Empirical Privacy Evaluation