[논문 리뷰] Differentially- and non-differentially-private random decision trees

Mariusz Bojarski, Anna Choromanska외 2명|arXiv (Cornell University)|2014. 10. 26.

Privacy-Preserving Technologies in Data참고 문헌 49인용 수 18

한 줄 요약

이 논문은 세 가지 집계 방법인 다수결 투표, 임계값 평균화, 확률적 평균화를 사용하여 비차별적 및 차별적 개인정보 보호를 고려한 무작위 결정 트리 포레스트를 제안하고 분석한다. 이는 조건부 차별적 개인정보 보호 하에서도 높은 정확도를 달성하기 위해 O(log n)의 무작위 트리로도 충분하다는 것을 증명하며, 실험적으로 다수결 투표가 하이퍼파rameter에 대한 민감도가 낮고, 강건한 개인정보 보호 성능을 보임을 보여준다.

ABSTRACT

We consider supervised learning with random decision trees, where the tree construction is completely random. The method is popularly used and works well in practice despite the simplicity of the setting, but its statistical mechanism is not yet well-understood. In this paper we provide strong theoretical guarantees regarding learning with random decision trees. We analyze and compare three different variants of the algorithm that have minimal memory requirements: majority voting, threshold averaging and probabilistic averaging. The random structure of the tree enables us to adapt these methods to a differentially-private setting thus we also propose differentially-private versions of all three schemes. We give upper-bounds on the generalization error and mathematically explain how the accuracy depends on the number of random decision trees. Furthermore, we prove that only logarithmic (in the size of the dataset) number of independently selected random decision trees suffice to correctly classify most of the data, even when differential-privacy guarantees must be maintained. We empirically show that majority voting and threshold averaging give the best accuracy, also for conservative users requiring high privacy guarantees. Furthermore, we demonstrate that a simple majority voting rule is an especially good candidate for the differentially-private classifier since it is much less sensitive to the choice of forest parameters than other methods.

연구 동기 및 목표

• 비차별적 및 차별적 개인정보 보호를 고려한 무작위 결정 트리에 대해 다수결 투표, 임계값 평균화, 확률적 평균화의 세 가지 집계 기법을 적용한 최초의 종합적인 이론적 분석을 제공한다.
• 일반화 오차 경계를 수립하고, 표준 및 차별적 개인정보 보호 환경에서 트리 수에 따른 정확도 의존성을 정량화한다.
• 데이터셋 크기의 로그 비례로 증가하는 소수의 무작위 트리—즉, 로그 수준의 트리 수—만으로도 높은 분류 정확도를 달성하면서 강력한 개인정보 보호 보장을 유지할 수 있음을 보여준다.
• 차별적 개인정보 보호 하에서 다양한 집계 방법의 성능을 실험적으로 평가하고 비교하며, 특히 하이퍼파rameter 선택에 대한 민감도에 중점을 둔다.

제안 방법

• 각 노드에서 데이터에 영향을 받지 않는 방식으로 무작위로 특징과 임계값을 선택함으로써 빠르고 메모리 소모가 적은 한 번의 스캔만으로도 트리를 구성한다.
• 세 가지 집계 전략을 적용한다: 다수결 투표(가장 빈도가 높은 레이블 기반 예측 클래스), 임계값 평균화(예측 확률의 평균), 확률적 평균화(트리의 신뢰도를 사용한 가중 평균).
• 내부 노드가 아닌 리프 노드의 카운터에만 라플라스 노이즈를 추가함으로써 프레임워크를 차별적 개인정보 보호에 적합하게 조정하여 트리 구조에 대한 왜곡 영향을 최소화한다.
• 노이즈의 크기를 제어하기 위해 개인정보 보호 예산 파rameter η = 1000 / n_tr를 사용하며, 여기서 n_tr은 훈련 샘플 수이다. 이는 (ε, δ)-차별적 개인정보 보장을 보장한다.
• 트리 높이 h ∈ {1, ..., 15}와 트리 수 k ∈ {1, 3, ..., 21}에 대해 하이퍼파rameter 탐색을 수행하고 검증 오차가 가장 낮은 조합을 선택한다.
• 8개의 실제 세계 데이터셋(예: Banknote, Adult, Covertype)을 대상으로 10겹 교차검증을 수행하며, 훈련 90%, 검증 10%, 테스트 10%로 분할한다.

실험 결과

연구 질문

• RQ1 다수결 투표, 임계값 평균화, 확률적 평균화를 사용한 비차별적 개인정보 보호를 고려한 무작위 결정 트리 포레스트의 이론적 일반화 오차 경계는 무엇인가?
• RQ2 차별적 개인정보 보호 하에서 높은 분류 정확도를 달성하기 위해 필요한 무작위 결정 트리의 수는 얼마이며, 이 수는 데이터셋 크기와 로그 비례로 증가하는가?
• RQ3 다수결 투표, 임계값 평균화, 확률적 평균화의 성능을 차별적 개인정보 보호 하에서 비교할 때, 하이퍼파rameter 선택에 대한 민감도 측면에서 어떤 차이가 있는가?
• RQ4 내부 노드가 아닌 리프 노드의 카운터에만 노이즈를 추가함으로써, 차별적 개인정보 보호를 고려한 무작위 포레스트가 최소한의 왜곡으로도 높은 정확도를 유지할 수 있는가?

주요 결과

• 조금도 차별적 개인정보 보호 조건 하에서도 대부분의 데이터를 정확히 분류하기 위해 O(log n)의 무작위 결정 트리로도 충분하며, 이는 이전 방법에 비해 상당한 이론적 향상이다.
• 다수결 투표와 임계값 평균화가 모든 집계 방법 중에서 가장 높은 테스트 정확도를 달성하며, 다수결 투표는 하이퍼파rameter 선택에 대해 더 뛰어난 강건성을 보였다.
• 다수결 투표를 사용하는 차별적 개인정보 보호를 고려한 무작위 포레스트는 다른 방법보다 트리 수(k)와 트리 높이(h)에 덜 민감하여 고개인성 요구가 높은 응용 분야에서 더 실용적이다.
• 확률적 평균화는 다른 두 방법에 비해 상당히 열 劣하며, 차별적 개인정보 보호 환경에서는 사용을 권장하지 않는다.
• 고정된 개인정보 보호 예산(η = 1000 / n_tr) 하에서, 테스트 오차는 트리 수 k와 높이 h가 증가함에 따라 감소하지만, 임계값 평균화의 최적 설정은 다수결 투표와는 달리 매우 민감하게 의존한다.
• 실험 결과에 따르면, 다수결 투표를 사용하는 차별적 개인정보 보호 무작위 포레스트(dpRFMV)가 정확도와 안정성의 최적 균형을 달성하며, 여러 데이터셋에서 dpRFTA와 dpRFPA를 모두 능가한다.