[논문 리뷰] Learning over inherently distributed data

Donghui Yan, Ying Xu|arXiv (Cornell University)|2019. 07. 30.

Privacy-Preserving Technologies in Data참고 문헌 47인용 수 4

한 줄 요약

이 논문은 원천적으로 분산된 데이터에서 학습하기 위해 손실 최소화 지역 변환을 사용하는 통신 효율적인 프레임워크를 제안한다. 이 방법은 소규모 지역 서명만 공유하면 되므로 병렬 지역 계산이 가능하고 데이터 프라이버시를 유지할 수 있다. 지역 서명 크기가 증가함에 따라 점점 줄어드는 오차를 보장하며, 선형 회귀 및 랜덤 포레스트와 같은 연속성 기반 모델에 대해 이론적 보장을 제공한다.

ABSTRACT

The recent decades have seen a surge of interests in distributed computing. Existing work focus primarily on either distributed computing platforms, data query tools, or, algorithms to divide big data and conquer at individual machines etc. It is, however, increasingly often that the data of interest are inherently distributed, i.e., data are stored at multiple distributed sites due to diverse collection channels, business operations etc. We propose to enable learning and inference in such a setting via a general framework based on the distortion minimizing local transformations. This framework only requires a small amount of local signatures to be shared among distributed sites, eliminating the need of having to transmitting big data. Computation can be done very efficiently via parallel local computation. The error incurred due to distributed computing vanishes when increasing the size of local signatures. As the shared data need not be in their original form, data privacy may also be preserved. Experiments on linear (logistic) regression and Random Forests have shown promise of this approach. This framework is expected to apply to a general class of tools in learning and inference with the continuity property.

연구 동기 및 목표

• 조직적, 운영적 또는 프라이버시 제약으로 인해 여러 사이트에 원천적으로 분산된 데이터에서 기계 학습을 수행하는 데 도전하는 문제를 해결한다.
• 데이터를 중앙집중적으로 집계할 수 있거나 계산 효율성 향상을 위해 단지 분산된 것으로 가정하는 기존 분산 컴퓨팅 방법의 한계를 극복한다.
• 원시 데이터를 전송하지 않고도 정확한 학습과 추론을 가능하게 하는 프레임워크를 개발한다. 통신을 최소화하고 데이터 프라이버시를 유지한다.
• 지역 서명 크기가 증가함에 따라 분산 계산에서 발생하는 오차가 점점 사라짐을 보장하는 이론적 근거를 제공한다. 이는 통계적 일致성 보장이다.

제안 방법

• 각 분산된 사이트의 데이터를 압축된 지역 서명으로 매핑하기 위한 손실 최소화 지역 변환 기반 일반 프레임워크를 제안한다.
• 공간 분할 트리(예: k-d 트리)를 사용하여 데이터를 반복적으로 분할하고 셀 직경을 줄이며, 통계적 연속성을 유지하는 방식으로 컷을 정의한다.
• '좋은 컷'을 정의한다. 이는 진짜 중앙값의 $\sqrt{1+\epsilon}/2$ 배 이내로 노드의 확률 질량을 분할하는 컷으로, 균형 잡힌 분할을 보장한다.
• 나쁜 컷의 확률이 노드 크기에 따라 지수적으로 감소함을 증명하여, 높은 확률로 수준 $k$까지 완전한 트리가 형성됨을 보장한다.
• 결정 트리의 단조 증가 변환에 대한 불변성을 활용하여 균일한 마진 분포를 가정함으로써 직경 감소 분석을 가능하게 한다.
• 데이터 포인트 $X$를 포함한 셀의 직경이 분할 수준 수 $k$가 증가함에 따라 확률적으로 0으로 수렴함을 증명함으로써 수렴성을 보장한다.

실험 결과

연구 질문

• RQ1 원시 데이터를 사이트 간 전송 없이도 원천적으로 분산된 데이터에서 정확한 학습과 추론을 수행할 수 있는가?
• RQ2 공유되는 지역 서명 크기가 증가함에 따라 분산 계산에서 유도되는 오차가 어떻게 줄어들 수 있는가?
• RQ3 이 프레임워크 하에서 연속성 성질을 가진 모델에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 여전히 효과적인 모델 훈련을 가능하게 하면서도 데이터 프라이버시를 어떻게 유지할 수 있는가?
• RQ5 공간 분할 트리가 지역 근사치가 전체 모델로 수렴하는 데 어떤 역할을 하는가?

주요 결과

• 지역 서명 크기가 증가함에 따라 학습 및 추론 오차가 점점 사라지며, 오차 $\rightarrow 0$ 로 수렴함을 보였다. 이는 $\min(k_1, ..., k_J) \to \infty$ 일 때 성립한다.
• 공간 분할 트리에서 나쁜 컷의 확률은 노드 크기에 따라 지수적으로 감소하며, 이는 높은 확률로 수준 $k$까지 완전한 트리가 형성됨을 보장한다.
• 반복적인 '좋은 컷' 덕분에 데이터 포인트 $X$를 포함한 셀의 직경이 분할 수준 수 $k$가 증가함에 따라 확률적으로 0으로 수렴한다.
• 이 방법은 통신 효율적이며, 소규모 지역 서명만 공유하면 되므로 원시 데이터 전송을 피하고 프라이버시를 유지한다.
• 실험 결과 선형(로지스틱) 회귀 및 랜덤 포레스트에 대한 성공적인 적용을 보였으며, 실용적 잠재력을 보였다.
• 이론적 분석을 통해 이 프레임워크가 연속성 성질을 가진 일반적인 학습 도구 클래스에 적용 가능하며, 통계적 일치성을 보장함을 확인했다.