[논문 리뷰] Efficient Private Algorithms for Learning Large-Margin Halfspaces

Huy L. Nguyên, Jonathan Ullman외 1명|arXiv (Cornell University)|2019. 02. 24.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 샘플 복잡도가 차원 d에 독립적이고 오직 간격 γ, 비밀성 ε, 정확도 α에 의존하는, 대량의 마진을 가진 반평면을 학습하기 위한 비밀성 보장 알고리즘을 제시한다. 이는 차원 d에 관계없이 O(1/αεγ²)의 복잡도를 달성한다. 접근 방식은 차원을 O(1/γ²)로 감소시키기 위해 무작위 투영을 사용한 후, 비밀성 있는 허브 손실 최소화 또는 지수 기반 메커니즘을 적용하며, 상한과 일치하는 하한을 통해 마진 의존성의 최적성을 입증한다.

ABSTRACT

We present new differentially private algorithms for learning a large-margin halfspace. In contrast to previous algorithms, which are based on either differentially private simulations of the statistical query model or on private convex optimization, the sample complexity of our algorithms depends only on the margin of the data, and not on the dimension. We complement our results with a lower bound, showing that the dependence of our upper bounds on the margin is optimal.

연구 동기 및 목표

• 데이터 차원 d에 독립적인 샘플 복잡도를 가진 대량의 마진을 가진 반평면을 학습하기 위한 비밀성 보장 학습 알고리즘을 설계하기.
• 비밀성 있는 볼록 최적화 또는 통계적 질의 시뮬레이션 기반 이전 알고리즘의 차원 의존 샘플 복잡도 문제를 해결하기.
• 마진 γ에 대한 최적의 의존성을 확보하여, 마진이 핵심 요소임을 보여주기.
• 상한의 마진 의존성이 정보 이론적으로 최적임을 입증하기 위해 일치하는 하한을 증명하기.
• 다항 시간 실행이 가능한 알고리즘과 (ε,δ)-DP를 만족하는 알고리즘, 그리고 지수 시간 실행이지만 순수 (ε,0)-DP를 만족하는 알고리즘 두 가지를 제공하기.

제안 방법

• 환경 차원 d를 O(1/γ²)로 감소시키기 위해 무작위 투영을 사용하여 마진의 구조를 유지하기.
• 투영된 데이터에서 허브 손실을 최소화하는 비밀성 있는 알고리즘을 적용하여 반평면을 학습하기.
• 다른 방법으로는 투영된 공간에서 반평면의 네트워크를 대상으로 지수 기반 메커니즘을 사용하여 비밀성 있고 정확한 분류기 선택하기.
• 투영된 공간에서의 민감도 분석과 주의 깊은 노이즈 추가를 통해 비밀성 확보하기.
• 측도 집중을 활용하여 투영된 벡터가 결정 경계 근처에 있을 확률을 제한하기.
• 하한을 증명하기 위해 큰 해밍 거리를 가진 구분하기 어려운 반평면의 구성 방법을 사용하여 순수 DP의 경우 Ω(1/εγ²)의 샘플 복잡도가 필수적임을 보여주기.

실험 결과

연구 질문

• RQ1 대량의 마진을 가진 반평면의 비밀성 보장 학습은 차원 d에 의존하지 않는 샘플 복잡도로 달성 가능한가?
• RQ2 비밀성 보장 반평면 학습에서 샘플 복잡도의 마진 γ 의존성이 최적인가?
• RQ3 비밀성 보장 학습에서 순수 차원 보장 (ε,0)-DP를 달성하면서 비밀성 오버헤드를 고려한 비공개 기준에 근접한 샘플 복잡도를 달성할 수 있는가?
• RQ4 비밀성 보장 반평면 학습에서 비밀성, 정확도, 차원 간의 기본적인 상호 교환 관계는 무엇인가?
• RQ5 무작위 투영을 사용하여 차원을 감소시키면서도 비밀성과 일반화 능력을 유지할 수 있는가?

주요 결과

• 제안된 알고리즘은 샘플 복잡도 O(1/αεγ²)를 달성하며, 이는 오직 마진 γ, 비밀성 ε, 정확도 α에 의존하고 차원 d에 독립적이다.
• 첫 번째 알고리즘은 다항 시간 내에 실행되며 동일한 샘플 복잡도를 기반으로 (ε,δ)-비밀성 보장을 만족한다.
• 두 번째 알고리즘은 순수 (ε,0)-비밀성 보장 (ε,0)-DP를 달성하지만 1/γ²에 대해 지수 시간이 소요되어 비밀성 강도와 효율성 간의 상충 관계를 보여준다.
• 하한을 통해 순수 (ε,0)-비밀성 보장 알고리즘이 대량의 마진 반평면을 학습하기 위해 최소 Ω(1/εγ²)의 샘플이 필요하다고 증명되었으며, 이는 상한과 상수 인자 수준에서 일치한다.
• 무작위 투영의 사용은 필수적이다. 고차원에서 직접 비밀성 있는 허브 손실 최소화나 지수 기반 메커니즘을 적용할 경우 다항식(d)의 샘플 복잡도가 필요하다.
• 결과적으로 마진은 비밀성 보장 반평면 학습의 올바른 복잡도 매개변수이며, 차원이 아니라 마진이 핵심 요소임을 보여주며, 마진이 클 경우 비밀성 오버헤드는 최소화됨을 시사한다.