[논문 리뷰] Scalable and Provably Accurate Algorithms for Differentially Private Distributed Decision Tree Learning

Kaiwen Wang, Travis Dick외 1명|arXiv (Cornell University)|2020. 12. 19.

Privacy-Preserving Technologies in Data참고 문헌 24인용 수 4

한 줄 요약

이 논문은 분산 환경을 위한 차별적(private)으로 보장되는 상향식 결정트리 학습 프레임워크인 DP-TopDown을 제안한다. 두 가지 구현 방식을 사용한다: 전역 노이즈 집계를 하는 NoisyCounts와 통신량과 노이즈를 줄이기 위한 로컬 최적화 기법인 LocalRNM. 이는 사전에 정의된 정확도 보장을 갖는 첫 번째 사례로서, 약한 학습 가정 하에서 데이터셋 크기가 커질수록 오차가 급격히 감소함을 보여준다.

ABSTRACT

This paper introduces the first provably accurate algorithms for differentially private, top-down decision tree learning in the distributed setting (Balcan et al., 2012). We propose DP-TopDown, a general privacy preserving decision tree learning algorithm, and present two distributed implementations. Our first method NoisyCounts naturally extends the single machine algorithm by using the Laplace mechanism. Our second method LocalRNM significantly reduces communication and added noise by performing local optimization at each data holder. We provide the first utility guarantees for differentially private top-down decision tree learning in both the single machine and distributed settings. These guarantees show that the error of the privately-learned decision tree quickly goes to zero provided that the dataset is sufficiently large. Our extensive experiments on real datasets illustrate the trade-offs of privacy, accuracy and generalization when learning private decision trees in the distributed setting.

연구 동기 및 목표

• 강력한 차별적(private) 보장을 유지하면서 분산 환경에서 정확한 결정트리 학습에 도전한다.
• 효율적이고 비밀유지 가능한 분할 메커니즘을 설계하여 분산 결정트리 학습에서의 프라이버시-정확도 트레이드오프를 극복한다.
• 단일 머신 및 분산 환경 모두에서 차별적(private)으로 보장되는 상향식 결정트리 학습에 대해 이론적 정확도 보장을 제공한다.
• 실증적으로 비밀유지된 결정트리가 특정 경우, 특히 소규모 또는 노이즈가 많은 데이터셋에서 비밀유지되지 않은 모델보다 더 잘 일반화됨을 보여준다.

제안 방법

• TopDown 프레임워크에 기반한 DP-TopDown이라는 차별적(private) 결정트리 알고리즘의 가족을 제안하며, 최적의 분할을 근사하기 위해 비밀유지 서브루틴인 PrivateSplit을 사용한다.
• NoisyCounts를 구현: 각 데이터 보유자가 라플라스 노이즈가 첨가된 클래스 카운트를 게시하고, 이를 집계하여 분할을 선택함으로써 전역적 차원에서 차별적(private) 보장을 확보하지만, 높은 노이즈와 통신량을 수반한다.
• LocalRNM을 도입: 통신 이전에 각 데이터 보유자에서 로컬 최적화를 수행함으로써, NoisyCounts 대비 노이즈와 통신량을 크게 감소시킨다.
• 내부 노드 분할과 리프 레이블링 간에 프라이버시 예산을 동적으로 할당하기 위해 디케이 예산 할당 전략을 적용함으로써, 중요한 결정에 우선순위를 두어 정확도를 향상시킨다.
• 분할 기준으로 엔트로피를 사용하고, 분할 선택 시 차별적(private) 보장을 확보하기 위해 지수 기반 메커니즘 또는 라플라스 기반 메커니즘을 적용한다.
• 약한 학습 가정과 이론적 한계를 활용하여 일반화 오차가 데이터셋 크기가 증가함에 따라 0으로 수렴함을 보여주는 정확도 보장을 도출한다.

실험 결과

연구 질문

• RQ1 강력한 프라이버시 보장을 유지하면서도 높은 정확도를 유지하는 분산 환경에서의 차별적(private)으로 보장되는 결정트리 학습 알고리즘을 설계할 수 있는가?
• RQ2 내부 분할과 리프 레이블링 간의 프라이버시 예산 할당 방식이 분산 결정트리 학습에서 최종 모델 정확도에 어떤 영향을 미치는가?
• RQ3 탐욕적 분할 과정에 노이즈를 주입함으로써 일반화 성능이 향상되는가? 특히 비밀유지되지 않은 모델이 과적합되는 경우에 대해 효과적인가?
• RQ4 약한 학습 가정 하에서 단일 머신 및 분산 환경 모두에서 차별적(private)으로 보장되는 결정트리의 일반화 오차를 이론적으로 한계를 정할 수 있는가?
• RQ5 분산 비밀유지 결정트리 학습에서 통신 비용과 노이즈 수준 간의 트레이드오프는 어떻게 되며, 로컬 최적화 기법이 이 트레이드오프를 줄일 수 있는가?

주요 결과

• DP-TopDown은 단일 머신 및 분산 환경 모두에서 차별적(private)으로 보장되는 상향식 결정트리 학습에 대해 처음으로 정확도 보장을 이론적으로 도출한 결과를 제공하며, 데이터셋 크기가 증가함에 따라 오차가 0으로 수렴함을 보였다.
• 실세계 데이터셋(Adult, Bank, Creditcard, Skin)에서 LocalRNM은 로컬 최적화로 인해 노이즈와 통신량을 줄였기 때문에 NoisyCounts보다 테스트 정확도에서 뛰어난 성능을 보였다.
• CTR 데이터셋에서는 특정 프라이버시 파라미터 설정에서 비밀유지 알고리즘이 비비밀유지 기반 모델보다 높은 테스트 정확도를 기록했으며, 이는 노이즈 주입이 탐욕적 학습에서 나쁜 국소 최적점에서 벗어나는데 도움이 될 수 있음을 시사한다.
• 더 큰 학습 데이터셋은 항상 더 높은 테스트 정확도와 낮은 분산을 보였으며, 이는 이론적 기대와 일치하며, 비밀유지 학습에서 데이터 다양성의 이점을 확인시켰다.
• 디케이 예산 할당 전략은 중요한 결정에 더 많은 프라이버시 예산을 할당함으로써 성능을 향상시켰고, LeafPrivacyFraction를 0.5로 고정할 경우 실험 전반에서 안정적인 결과를 얻었다.
• 학습 정확도는 데이터셋 크기가 증가함에 따라 증가하는 경향이 있었으며, 이는 소규모 데이터셋이 과적합에 더 취약함에도 불구하고 비밀유지 학습이 데이터 스케일과 노이즈 정규화의 이점을 얻고 있음을 시사한다.