[논문 리뷰] Simultaneous Private Learning of Multiple Concepts

Mark Bun, Kobbi Nissim외 1명|arXiv (Cornell University)|2015. 11. 27.

Privacy-Preserving Technologies in Data인용 수 15

한 줄 요약

이 논문은 차별적 프라이버시 하에서 k개의 개념을 동시에 학습할 때의 샘플 복잡도를 조사하며, 단순한 개념 클래스인 파리티와 같은 경우에도 비밀성 보장이 있는 다중학습이 k에 대해 다항적으로 증가하는 샘플 복잡도를 요구한다는 것을 보여준다. 균일 분포 하에서 k개의 파리티를 학습할 때 Ω(kd/ε)의 날카로운 하한을 확립하여, 프라이버시가 개념 수에 따라 증가하는 본질적인 비용을 초래한다는 것을 입증한다.

ABSTRACT

We investigate the direct-sum problem in the context of differentially private PAC learning: What is the sample complexity of solving $k$ learning tasks simultaneously under differential privacy, and how does this cost compare to that of solving $k$ learning tasks without privacy? In our setting, an individual example consists of a domain element $x$ labeled by $k$ unknown concepts $(c_1,\ldots,c_k)$. The goal of a multi-learner is to output $k$ hypotheses $(h_1,\ldots,h_k)$ that generalize the input examples. Without concern for privacy, the sample complexity needed to simultaneously learn $k$ concepts is essentially the same as needed for learning a single concept. Under differential privacy, the basic strategy of learning each hypothesis independently yields sample complexity that grows polynomially with $k$. For some concept classes, we give multi-learners that require fewer samples than the basic strategy. Unfortunately, however, we also give lower bounds showing that even for very simple concept classes, the sample cost of private multi-learning must grow polynomially in $k$.

연구 동기 및 목표

• 차별적 프라이버시 하에서의 PAC 학습에서의 직접합 문제를 이해하기 위해: k개의 개념을 동시에 학습할 때의 샘플 복잡도가 비밀성 보장 하에서 개별적으로 학습할 때와 어떻게 비교되는지.
• 비밀성 제약이 다수의 개념을 동시에 학습할 때 샘플 복잡도를 유의미하게 증가시키는지, 특히 비비밀 기반의 경우와는 달리 복잡도가 k에 독립적인 비밀 기반의 경우에 비해 어떻게 영향을 미치는지 확인하기 위해.
• 균일 분포 하에서 차별적 프라이버시 하에서 k개의 파리티를 학습할 때 샘플 복잡도에 대한 날카로운 하한을 확립하여, 비용이 k와 d(차원)에 대해 다항적으로 증가함을 보여주기 위해.
• 비밀 기반 다중학습자가 각 개념을 별도로 학습하는 것보다 더 높은 샘플 효율성을 달성할 수 있는지 조사하기 위해, 특히 파리티와 같은 개념 클래스에 대해.
• 비밀 기반 환경에서의 적절한 학습과 비적절한 학습 간의 관계를 명확히 하여, 파리티의 경우 비밀 기반에서 적절한 학습과 비적절한 학습이 동일한 샘플 복잡도를 가짐을 보여주기 위해.

제안 방법

• 개념 클래스의 크기를 기반으로 한 패킹 추론을 사용하여 샘플 복잡도의 하한을 유도하며, 비밀성 보장 학습자가 많은 가능한 개념 튜플을 구분할 수 있어야 한다는 사실을 활용한다.
• 개인의 데이터 한 개(데이터베이스의 한 행)를 변경했을 때 출력 분포에 미치는 영향을 분석함으로써 차별적 프라이버시 제약을 적용하여 성공 확률이 지수적으로 감소함을 도출한다.
• 후처리 추론을 사용하여, 파리티의 경우 비적절한 학습자가 적절한 학습자로 변환되더라도 샘플 복잡도가 증가하거나 프라이버시를 위반하지 않음을 보여준다.
• 균일 분포를 {0,1}^d에서 분석하여 k개의 파리티를 학습하며, 비일치하는 파리티 함수의 오차가 균일 분포 하에서 정확히 1/2임을 이용한다.
• 비밀성 보장 학습자가 무작위 개념 튜플에서 성공 확률이 최소 1/2 이상일 경우를 가정하고, 모든 가능한 개념 튜플에 걸쳐 프라이버시 제약을 적용하여 하한을 유도한다.
• 이웃한 데이터베이스에 대해 Pr[A(D_c) = c'] ≥ (1/2)e^{-εn}의 부등식을 사용하여, 모든 다른 가능한 개념 튜플을 고려함으로써 n에 대한 하한을 유도한다.

실험 결과

연구 질문

• RQ1 비밀 기반 다중개념 학습의 샘플 복잡도는 비밀 기반 복잡도가 k에 독립적인 비비밀 기반의 경우와 비교해도 k의 수에 따라 증가하는가?
• RQ2 특히 파리티와 같은 개념 클래스에 대해 비밀 기반 다중학습자가 각 개념을 별도로 학습하는 것보다 더 높은 샘플 효율성을 달성할 수 있는가?
• RQ3 균일 분포 하에서 차별적 프라이버시 하에서 k개의 파리티를 학습할 때 샘플 복잡도에 대한 가장 날카로운 하한은 무엇인가?
• RQ4 파리티와 같은 개념 클래스에 대해 적절한 학습과 비적절한 학습 간에 큰 격차가 존재하는가, 그리고 이 격차는 직접합 문제에 영향을 미치는가?
• RQ5 예를 들어 파리티와 같은 개념 클래스의 구조가 일반 개념 클래스와 비교해 비밀 기반 다중학습의 샘플 복잡도에 어떻게 영향을 미치는가?

주요 결과

• 균일 분포 하에서 k개의 파리티를 학습할 때, (α, β=1/2, ε)-PAC k-학습자에 대해 샘플 복잡도는 Ω(kd/ε)여야 하며, 이는 로그 요소를 제외한 날카로운 하한이다.
• 이 하한 Ω(kd/ε)은 목표 개념이 정확히 학습되더라도 유지되며, 이는 비밀성 보장이 다중개념 학습의 비용을 본질적으로 증가시킴을 보여준다.
• 비밀 기반 다중학습의 샘플 복잡도는 매우 단순한 개념 클래스인 파리티에 대해서조차 k에 대해 다항적으로 증가하므로, 비밀성 보장이 비차별적인 비용을 초래한다는 것을 시사한다.
• 파리티의 경우 적절한 학습과 비적절한 학습의 샘플 복잡도가 동일하므로, 하한을 증명할 때 적절한 학습자를 고려하는 데 손실이 없다.
• 비밀 기반 학습의 직접합 문제는 비트리비하지 않다: 비비밀 기반 학습과 달리, k개의 개념을 동시에 학습하는 비용이 별도로 학습하는 것과 동일하지 않다.
• 분석 결과, 가능한 개념 튜플의 수 (|PAR_d|^k)와 프라이버시 제약이 함께 작용하여 n에 대한 하한을 k/ε 비례로 유도하며, 파리티의 구조로 인해 추가로 d 요소가 포함된다.