[논문 리뷰] Locally Differentially Private Naive Bayes Classification

Emre Yılmaz, Mohammad Al-Rubaie외 1명|arXiv (Cornell University)|2019. 05. 03.

Privacy-Preserving Technologies in Data참고 문헌 17인용 수 12

한 줄 요약

이 논문은 개인이 데이터를 수신자에게 전송하기 전에 국소적으로 데이터를 흐리게 하는 방식으로 기밀 보장된 분류기 학습을 가능하게 하는 국소적 미분적 비밀보장(Loacl Differential Privacy, LDP) 나이브 베이즈 분류 프레임워크를 제안한다. LDP 빈도 추정을 통해 특성-클래스 레이블 관계를 유지하고 차원 축소를 통합함으로써, 특히 ε > 2일 경우 높은 분류 정확도를 유지하면서도 신뢰할 수 없는 집계자 상황에서도 개인의 기밀을 보장한다.

ABSTRACT

In machine learning, classification models need to be trained in order to predict class labels. When the training data contains personal information about individuals, collecting training data becomes difficult due to privacy concerns. Local differential privacy is a definition to measure the individual privacy when there is no trusted data curator. Individuals interact with an untrusted data aggregator who obtains statistical information about the population without learning personal data. In order to train a Naive Bayes classifier in an untrusted setting, we propose to use methods satisfying local differential privacy. Individuals send their perturbed inputs that keep the relationship between the feature values and class labels. The data aggregator estimates all probabilities needed by the Naive Bayes classifier. Then, new instances can be classified based on the estimated probabilities. We propose solutions for both discrete and continuous data. In order to eliminate high amount of noise and decrease communication cost in multi-dimensional data, we propose utilizing dimensionality reduction techniques which can be applied by individuals before perturbing their inputs. Our experimental results show that the accuracy of the Naive Bayes classifier is maintained even when the individual privacy is guaranteed under local differential privacy, and that using dimensionality reduction enhances the accuracy.

연구 동기 및 목표

• 개인들이 중심 데이터 수집자에 대해 신뢰를 두지 않을 경우 기밀성 있는 학습 데이터 수집 문제를 해결하기 위해.
• 개인이 데이터를 공유하기 전에 국소적 미분적 비밀보장(LDP) 환경에서 자신의 데이터를 흐리게 하여 나이브 베이즈 분류기의 기밀 보장된 학습을 가능하게 하기 위해.
• LDP 데이터 수집 과정에서 특성과 클래스 레이블 간의 통계적 관계를 유지함으로써 분류 정확도를 확보하기 위해.
• 국소적 흐림 처리 이전에 차원 축소 기법을 적용하여 고차원 데이터에서 노이즈와 통신 비용을 줄이기 위해.
• 이산형 및 연속형 특성 유형 모두에 적용 가능한 LDP 기반 분류 기법을 확장하여, 연속형 데이터에 대한 가우시안 나이브 베이즈까지 포함하기 위해.

제안 방법

• 개인의 특성 값을 전송하기 전에 랜덤라이즈드 리스폰스 및 유니어리 인코딩 등의 국소적 미분적 비밀보장(LDP) 메커니즘을 적용하여 흐리게 처리한다.
• 집계자에서 LDP 빈도 추정 프로토콜(예: Bassily & Smith, 2015; Wang et al., 2017)을 사용하여 흐릿하게 처리된 데이터로부터 조건부 확률 P(class|feature)를 추정한다.
• 연속형 특성을 위해선 LDP 흐림 처리 이전에 구간 분할 또는 차원 축소(예: DCA)를 적용하여 노이즈와 차원을 줄인다.
• 나이브 베이즈에서 P(feature|class) 추정의 정확도를 확보하기 위해 흐림 처리 과정에서 특성과 클래스 레이블 간의 관계를 유지한다.
• 모든 필요한 조건부 확률을 집계된 흐릿한 데이터를 기반으로 추정하여, 새로운 인스턴스에 대한 표준 나이브 베이즈 추론을 가능하게 한다.
• 고차원 환경에서 노이즈 누적과 통신 비용을 줄이기 위해 개인 수준에서 차원 축소(예: DCA)를 적용하여 국소적 흐림 처리 이전에 통합한다.

실험 결과

연구 질문

• RQ1 국소적 미분적 비밀보장 프로토콜을 효과적으로 나이브 베이즈 분류기 학습에 적용할 수 있으며, 특성과 클래스 레이블 간의 관계를 유지할 수 있는가?
• RQ2 이산형 특성에 대해 인코딩 체계(예: 직접, 유니어리)의 선택이 LDP 하에서 분류 정확도에 미치는 영향은 어떠한가?
• RQ3 차원 축소 기법이 연속형 데이터에 대한 LDP 기반 나이브 베이즈 분류의 정확도에 얼마나 기여하는가?
• RQ4 개인의 기밀 보장 수준 ε가 제안된 LDP 나이브 베이즈 프레임워크에서 기밀 보장과 분류 정확도 간의 트레이드오프에 미치는 영향은 어떠한가?
• RQ5 강력한 기밀 보장 조건(예: ε ≤ 2) 하에서도 비기밀 기반 나이브 베이즈와 유사한 높은 분류 정확도를 달성할 수 있는가?

주요 결과

• ε > 2일 경우, LDP 나이브 베이즈 분류기의 분류 정확도가 비기밀 기반 기준선과 매우 유사하게 유지되어 기밀 보장과 기능성의 균형이 잘 이루어졌음을 보여준다.
• 이산형 특성에 대해 직접 또는 유니어리 인코딩 체계를 사용할 경우, 낮은 기밀 보장 수준에서도 높은 분류 정확도를 달성한다.
• 연속형 특성의 이산화가 LDP 추정에서의 노이즈를 줄여 성능 향상에 기여한다.
• DCA와 같은 차원 축소 기법을 국소적 흐림 처리 이전에 적용함으로써 차원과 노이즈를 줄여 연속형 데이터에 대한 분류 정확도를 향상시킨다.
• 신뢰할 수 없는 중심 데이터 수집자 없이도 대규모 학습 데이터 수집을 가능하게 하여 기밀 보장이 중요한 분야에 적용 가능하다.
• 이 프레임워크는 이진 분류에 국한되지 않고 다중 클래스 분류도 지원하며, 이는 이전의 LDP 기반 머신러닝 시스템과의 차별점을 가진다.