[논문 리뷰] Distributed Learning, Communication Complexity and Privacy

Maria-Florina Balcan, Avrim Blum외 2명|arXiv (Cornell University)|2012. 04. 16.

Privacy-Preserving Technologies in Data참고 문헌 22인용 수 113

한 줄 요약

이 논문은 분산 PAC 학습에서의 통신 복잡도를 조사하며, 지도 학습 차원과 오류 한계와 같은 개념이 통신 요구량에 결정적인 영향을 미친다는 것을 보여준다. 결정 목록, 선형 분리자, 그리고 파리티 함수를 포함한 클래스에 대해 통신 효율적인 알고리즘을 제시하며, 각각 결정 목록과 파리티 함수에 대해 O(d log d) 및 O(d) 비트를 달 đạt하고, 통신 비용을 추가로 들이지 않고 통계적 질의를 통해 기밀성을 유지한다.

ABSTRACT

We consider the problem of PAC-learning from distributed data and analyze fundamental communication complexity questions involved. We provide general upper and lower bounds on the amount of communication needed to learn well, showing that in addition to VC-dimension and covering number, quantities such as the teaching-dimension and mistake-bound of a class play an important role. We also present tight results for a number of common concept classes including conjunctions, parity functions, and decision lists. For linear separators, we show that for non-concentrated distributions, we can use a version of the Perceptron algorithm to learn with much less communication than the number of updates given by the usual margin bound. We also show how boosting can be performed in a generic manner in the distributed setting to achieve communication with only logarithmic dependence on 1/epsilon for any concept class, and demonstrate how recent work on agnostic learning from class-conditional queries can be used to achieve low communication in agnostic settings as well. We additionally present an analysis of privacy, considering both differential privacy and a notion of distributional privacy that is especially appealing in this context.

연구 동기 및 목표

• 데이터가 여러 당사자 간에 분산되어 있을 때, PAC 학습을 위해 필요한 기본적인 통신 복잡도를 이해하는 것.
• VC 차원을 초월한 개념 클래스의 특성, 예를 들어 지도 학습 차원과 오류 한계와 같은 특성이 통신 요구량에 미치는 영향을 규명하는 것.
• 논리적 논리식, 결정 목록, 선형 분리자와 같은 특정 개념 클래스에 대해 통신 효율적인 학습 알고리즘을 개발하는 것.
• 추가 통신 비용 없이 분산 환경에서 기밀성 보장 학습을 가능하게 하는 것.
• 부스팅과 오차 없는 학습이 1/ϵ에 대해 로그적 의존성으로 수행될 수 있음을 보여주는 것

제안 방법

• 통계적 질의(SQ) 프레임워크를 사용하여 실체 간의 상호작용과 현지 데이터 간의 상호작용를 시뮬레이션함으로써 기밀성 보장 계산을 가능하게 한다.
• 비집중 분포를 활용하여 통신 라운드 수를 O(√(d log(d/ǫ))/ǫ²)로 줄이는 수정된 퍼셉트론 알고리즘을 적용한다.
• 모든 개념 클래스에 대해 1/ϵ에 대해 로그적 의존성을 가지는 분산 부스팅을 적용하여 총 통신량을 최소화한다.
• 각 실체가 자신의 데이터 분포에서 유도되는 정보 이외의 정보를 노출하지 않도록, 추가로 라플라스 노이즈를 가한 통계적 질의를 통해 분포 기반 기밀성을 도입한다.
• Rivest와 Sloan(1988)의 신뢰할 수 있고 유용한 프레임워크를 활용하여, 파리티 함수의 비적합 학습이 오직 O(d) 비트의 통신만 필요로 함을 보여주며, 적합 학습의 경우 Ω(d²)의 하한선과 대비된다.
• 최소한의 가설 교환을 활용: 중심이 모든 국지적 가설을 커버하는 최소한의 가설을 계산함으로써 낮은 통신 및 오차 한계를 확보한다.

실험 결과

연구 질문

• RQ1 분산 환경에서 개념 클래스를 학습하기 위해 필요한 기본적인 통신 복잡도는 무엇인가요?
• RQ2 지도 학습 차원과 오류 한계와 같은 개념 클래스 특성이 통신 요구량에 어떻게 영향을 미치나요?
• RQ3 부스팅은 1/ϵ에 대해 로그적 의존성으로 분산 환경에서 수행될 수 있나요?
• RQ4 추가 통신 비용 없이 분산 학습에서 기밀성이 유지될 수 있나요?
• RQ5 비집중 분포 하에서 결정 목록, 파리티 함수, 선형 분리자와 같은 특정 클래스를 학습할 때의 통신 비용은 얼마인가요?

주요 결과

• 결정 목록이 {0,1}^d에서 학습될 경우, 통신 복잡도는 Θ(d log d) 비트이며, 이는 날카로운 하한선이다.
• 파리티 함수의 경우, 비적합 학습은 오직 O(d) 비트의 통신만 필요하며, 적합 학습의 경우 Ω(d²) 하한선에 비해 상당한 향상이다.
• 비집중 분포 하에서 선형 분리자에 대해 통신을 O(√(d log(d/ǫ))/ǫ²) 라운드로 줄일 수 있으며, 각 라운드에서 단일 가설 벡터를 전송함으로써 기존 퍼셉트론의 O(d/ǫ²) 업데이트에 비해 훨씬 낮다.
• 분산 부스팅은 모든 개념 클래스에 대해 오차 O(opt(H)) + ǫ를 달성하며, 통신량이 1/ϵ에 대해 오직 로그적 의존성으로만 의존한다.
• Balcan과 Hanneke(2012)의 결과를 응용하여 오차 없는 학습은 1/ϵ에 대해 O(log(1/ϵ))의 통신 의존성을 가지며 수행할 수 있다.
• 표본 크기를 O(M² log³(M/δ)/(α²τ²))로 설정함으로써 분포 기반 기밀성을 확보할 수 있으며, 통계적 질의를 사용할 경우 통신 비용 없이 기밀성을 유지할 수 있다.