[논문 리뷰] What Can We Learn Privately?

Shiva Prasad Kasiviswanathan, Homin K. Lee외 3명|arXiv (Cornell University)|2008. 03. 06.

Privacy-Preserving Technologies in Data참고 문헌 49인용 수 46

한 줄 요약

이 논문은 미분적 보안을 사용한 개인 정보 보호 기반 기계 학습의 가능성에 대해 조사하며, 비밀 보장이 있는 학습에서 어떤 개념 클래스라도 다항 수준의 샘플 복잡도를 가지면 샘플 수의 로그적 증가만으로도 개인 정보 보호 기반으로 학습이 가능하다는 것을 보여준다. 또한 국소적 개인 정보 보호 학습과 통계적 질의(SQ) 모델 간의 밀접한 연결을 확립하여, 국소 알고리즘이 SQ 학습과 동일하다는 것을 증명하고, 상호작용이 있는 학습과 비상호작용적 학습 간의 분리를 입증함으로써 비상호작용 방법의 근본적인 한계를 드러낸다.

ABSTRACT

Learning problems form an important category of computational tasks that generalizes many of the computations researchers apply to large real-life data sets. We ask: what concept classes can be learned privately, namely, by an algorithm whose output does not depend too heavily on any one input or specific training example? More precisely, we investigate learning algorithms that satisfy differential privacy, a notion that provides strong confidentiality guarantees in contexts where aggregate information is released about a database containing sensitive information about individuals. We demonstrate that, ignoring computational constraints, it is possible to privately agnostically learn any concept class using a sample size approximately logarithmic in the cardinality of the concept class. Therefore, almost anything learnable is learnable privately: specifically, if a concept class is learnable by a (non-private) algorithm with polynomial sample complexity and output size, then it can be learned privately using a polynomial number of samples. We also present a computationally efficient private PAC learner for the class of parity functions. Local (or randomized response) algorithms are a practical class of private algorithms that have received extensive investigation. We provide a precise characterization of local private learning algorithms. We show that a concept class is learnable by a local algorithm if and only if it is learnable in the statistical query (SQ) model. Finally, we present a separation between the power of interactive and noninteractive local learning algorithms.

연구 동기 및 목표

• 개인 정보 보호를 보장하는 알고리즘을 사용하여 어떤 개념 클래스를 학습할 수 있는지 규명하고, 개별 데이터 포인트가 출력에 크게 영향을 주지 않도록 보장한다.
• 특히 미분적 보안 제약 조건 하에서 샘플 복잡도, 계산 시간, 상호작용 간의 상호 교환 관계를 이해한다.
• 국소적(랜덤라이즈드 리스폰스) 개인 정보 보호 학습 알고리즘의 능력을 특성화하고, 기존의 통계적 질의(SQ) 모델과 연관지킨다.
• 상호작용이 있는 학습과 비상호작용적 학습 간의 분리를 조사하여, 비상호작용 접근 방식의 근본적인 한계를 드러낸다.
• 강력한 개인 정보 보호 보장을 갖는 상황에서도 개인 정보 보호 기반 학습이 비개인 정보 기반 학습과 거의 동일한 능력을 지닌다는 것을 입증한다.

제안 방법

• 개인 정보 보호를 공식적으로 보장하기 위해 미분적 보안을 사용하며, 학습 알고리즘의 출력이 어떤 단일 학습 예제도 영향을 받지 않도록 보장한다.
• 학습자가 독립 동일분포(i.i.d.) 예제를 분포에서 접근하며, 목표 개념에 의해 레이블링된 예제를 다루는 샘플 기반 학습 프레임워크를 적용하며, 개인 정보 보호는 랜덤라이즈드 리스폰스 또는 유사 기법을 통해 구현한다.
• 비개인 정보 기반의 PAC 모델에서 다항 수준의 샘플 복잡도를 가지는 모든 개념 클래스는, 개념 클래스 크기 대비 샘플 수의 로그적 증가만으로도 개인 정보 보호 기반으로 학습이 가능하다는 것을 입증한다.
• 국소적 개인 정보 보호 학습 알고리즘을 특성화하기 위해, 내적 곱 분석과 정규직교 함수 전개를 사용하여, 국소적 알고리즘이 통계적 질의(SQ) 모델에서의 학습과 동일하다는 것을 증명한다.
• 내적 곱 농도 집중에 기반한 확률적 추론을 사용하여, 대부분의 랜덤 질의에 대해 오라클 응답이 숨겨진 매개변수에 의존할 수 없음을 보이며, 민감한 변수를 알지 못해도 오라클을 시뮬레이션할 수 있음을 가능하게 한다.
• 하이브리드 추론과 질의에 대한 유니온 바운드를 사용하여, 비상호작용적 국소 학습이 마스킹된 페어리 문제에서 일정한 오차를 달성할 수 없다는 것을 증명하며, 상호작용적 방법과의 분리를 확립한다.

실험 결과

연구 질문

• RQ1 비개인 정보 기반의 PAC 모델에서 학습 가능한 모든 개념 클래스가 샘플 수의 증가가 최소한으로 이루어지는 조건에서 개인 정보 보호 기반으로 학습이 가능한가?
• RQ2 국소적(랜덤라이즈드 리스폰스) 개인 정보 보호 학습과 통계적 질의(SQ) 모델 간의 관계는 무엇인가?
• RQ3 상호작용이 있는 학습과 비상호작용적 학습 알고리즘의 능력 사이에 증명 가능한 분리가 존재하는가?
• RQ4 패리 함수와 같은 어려운 개념 클래스에 대해 계산적으로 효율적인 개인 정보 보호 기반 학습이 가능할 수 있는가?
• RQ5 미분적 보안은 민감한 데이터가 존재하는 상황에서 학습 알고리즘의 샘플 복잡도와 계산 효율성에 어떤 영향을 미치는가?

주요 결과

• 비개인 정보 기반의 PAC 모델에서 다항 수준의 샘플 복잡도를 가지는 모든 개념 클래스는 개념 클래스 크기의 로그적 수준의 증가만으로도 개인 정보 보호 기반으로 학습이 가능하다.
• 패리 함수 클래스에 대해 계산적으로 효율적인 개인 정보 보호 기반 PAC 학습자가 존재하며, 이는 랜덤 분류 노이즈 하에서 어려운 문제로 간주되더라도 개인 정보 보호 기반 학습이 가능하다는 것을 보여준다.
• 국소적 개인 정보 보호 학습 알고리즘은 통계적 질의(SQ) 모델의 알고리즘과 정확히 동일한 능력을 지닌다: 개념 클래스가 국소적으로 학습 가능할 때이고, 그때에만 SQ로 학습 가능하다.
• 상호작용이 있는 학습과 비상호작용적 학습 간에 증명 가능한 분리가 존재한다: 비상호작용 알고리즘은 마스킹된 페어리와 같은 특정 클래스를 일정한 오차로 학습할 수 없지만, 상호작용적 알고리즘은 가능하다.
• 비상호작용적 국소 학습자가 마스킹된 페어리 문제에서 성공할 확률은 1에서 벗어나며, 오차 확률에 대해 최소한 1/2(1 - t/2^{d/3+2})의 하한이 존재하여, 비상호작용 방법의 본질적 한계를 보여준다.
• 분석 결과, 대부분의 랜덤 질의에 대해 오라클 응답은 숨겨진 매개변수에 의존할 수 없으며, 이는 민감한 데이터를 알지 못해도 개인 정보 보호 오라클을 시뮬레이션할 수 있도록 한다. 이는 1/2^{d/3}의 허용 오차 이내에서 성립한다.