[논문 리뷰] Rademacher Observations, Private Data, and Boosting

Richard Nock, Giorgio Patrini외 1명|arXiv (Cornell University)|2015. 02. 09.

Privacy-Preserving Technologies in Data참고 문헌 18인용 수 3

한 줄 요약

이 논문은 선형 및 커널 기반 분류기에서 등가의 로지스틱 손실 최소화를 가능하게 하는 변환된 데이터 표현인 라데마처 관측값(Rademacher observations, rados)을 소개한다. 원래 예시 대신 rados의 소량의 부분집합에서 학습함으로써 제안된 RadoBoost 알고리즘은 부스팅 기반 수렴 속도를 확보하고 경쟁력 있는 정확도를 달성한다. 이는 고도의 노이즈 수준에서도 차별적 개인정보 보호를 위한 강력한 보장을 가능하게 한다.

ABSTRACT

The minimization of the logistic loss is a popular approach to batch supervised learning. Our paper starts from the surprising observation that, when fitting linear (or kernelized) classifiers, the minimization of the logistic loss is extit{equivalent} to the minimization of an exponential extit{rado}-loss computed (i) over transformed data that we call Rademacher observations (rados), and (ii) over the extit{same} classifier as the one of the logistic loss. Thus, a classifier learnt from rados can be extit{directly} used to classify extit{observations}. We provide a learning algorithm over rados with boosting-compliant convergence rates on the extit{logistic loss} (computed over examples). Experiments on domains with up to millions of examples, backed up by theoretical arguments, display that learning over a small set of random rados can challenge the state of the art that learns over the extit{complete} set of examples. We show that rados comply with various privacy requirements that make them good candidates for machine learning in a privacy framework. We give several algebraic, geometric and computational hardness results on reconstructing examples from rados. We also show how it is possible to craft, and efficiently learn from, rados in a differential privacy framework. Tests reveal that learning from differentially private rados can compete with learning from random rados, and hence with batch learning from examples, achieving non-trivial privacy vs accuracy tradeoffs.

연구 동기 및 목표

• 변환된 데이터 표현이 원래 학습 예제를 대체할 수 있는지, 정확도를 유지하는지를 조사하는 것.
• 원시 예제 대신 라데마처 관측값(rados)에서 학습하는 것이 가능한지를 탐색하는 것, 특히 선형 및 커널 기반 분류기에 대해.
• rado 기반 데이터 변환을 통해 차별적 개인정보 보호를 초월하는 강력한 개인정보 보호 보장을 보장하는 학습 프레임워크를 개발하는 것.
• 원래 예제에서 전체 배치 학습을 수행하는 것과 동등하거나 이를 초월하는 성능을 달성하기 위해, rados의 소량이지만 철저히 선택된 부분집합에서 학습하는 것이 가능한지를 보여주는 것.
• 특히 원래 데이터가 가우스 메커니즘과 같은 메커니즘으로 보호된 경우, 라디오 기반 학습의 강인성을 평가하는 것.

제안 방법

• 학습 예제의 에지 벡터(관측값 × 레이블) 합으로 구성된 라데마처 관측값(rados)을 정의하여 변환된 데이터 표현을 형성한다.
• 원래 예제에서 로지스틱 손실을 최소화하는 것이 동일한 분류기로 rados에서 지수 손실을 최소화하는 것과 수학적으로 동일하다는 것을 증명한다.
• 원래 데이터의 로지스틱 손실을 최소화하기 위해 rados에서 약한 학습기를 반복적으로 선택하는 부스팅 기반 학습 알고리즘인 RadoBoost를 설계한다.
• 계산 비용을 줄이고 프라이버시 성질을 향상시키기 위해 고정된 지지도 가진(rados의 지지도 고정된) rados를 생성하는 메커니즘을 도입한다.
• 가우스 메커니즘을 사용하여 차별적 개인정보 보호를 보장하는 rado 전달 메커니즘을 구축하여 원래 데이터의 민감한 특성에 대한 프라이버시를 확보한다.
• rado 벡터와의 중앙절대상관관계 기반으로 특징을 선택하는 신중한 약한 학습기를 구현하여 노이즈 환경에서의 안정성과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 라데마처 관측값(rados)에서 학습하는 것이 원래 예제에서 학습하는 것과 동일하거나 더 좋은 성능을 내는가? 특히 로지스틱 손실 최소화 측면에서.
• RQ2 rados의 소량이지만 대표적인 부분집합이 고정밀도 분류기를 훈련시키는 데서 전체 집합을 대체할 수 있는 정도는 어느 정도인가?
• RQ3 rados는 차별적 개인정보 보호뿐 아니라 대수적, 기하학적, 계산 복잡도 관점에서 개인정보 보존에 어떻게 기여하는가?
• RQ4 rados가 강력한 차별적 개인정보 보호 제약 조건 하에서 생성된 경우에도 rado 기반 학습이 부스팅 기반 수렴 속도를 유지할 수 있는가?
• RQ5 rados가 가우스 메커니즘을 통해 노이즈 처리될 때, 프라이버시(노이즈 수준)와 정확도 사이의 상호 교환 관계는 어떠한가?

주요 결과

• 고정된 지지도를 가진 rados(예: 전체 rados의 25%)에서 훈련된 RadoBoost는 고도의 노이즈 수준에서도 원래 데이터에서 AdaBoost를 훈련시킨 것과 유사한 테스트 오차를 기록한다.
• 실험 결과, 고정된 지지도를 가진 rados와 신중한 약한 학습기를 사용할 경우, 강력한 약한 학습기를 사용하는 무작위 rados보다 성능이 뛰어나며, 특히 차별적 개인정보 보호 환경에서 두드러진다.
• 가우스 메커니즘을 사용해 노이즈 처리된 차별적 개인정보 보장 rados에서 학습한 결과, 여러 데이터셋에서 비공개 기준 대비 테스트 오차가 1.5% 이내로 유지된다.
• 원래 예제를 rados에서 복원하는 것은 계산적으로 어렵고, 이론적으로 특정 조건 하에서 NP-난이도임을 입증하였다.
• 강력한 차별적 개인정보 보호(예: ε ≈ 0.5) 조건 하에서도 rado 기반 학습이 노이즈 없는 설정과 유사한 수렴 속도를 유지함으로써 강인함을 입증하였다.
• rado의 대수적 및 기하학적 구조는 원래 데이터의 정확한 복원을 방지하여, 차별적 개인정보 보호를 초월하는 프라이버시 보장을 제공한다.