[논문 리뷰] Distributed Sketching Methods for Privacy Preserving Regression

Burak Bartan, Mert Pilancı|arXiv (Cornell University)|2020. 02. 16.

Mobile Crowdsensing and Crowdsourcing참고 문헌 22인용 수 7

한 줄 요약

이 논문은 대규모 회귀 분석을 위한 분산 스케칭과 파라미터 평균화 기법을 제안하며, 무작위 스케칭(Gaussian, Hadamard, 샘플링)을 활용해 차원을 감소시키고, 프라이버시를 향상시키며 이방성 시스템에서의 스트래글러에 대한 내성을 높인다. 이론적 분석을 통해 가우시안 스케칭이 작업자 수에 비례해 $1/\epsilon$ 비율로 기댓값 오차가 감소하는 비편향 추정치를 제공함을 보이며, 정확도와 프라이버시 보존 측면에서 균일 샘플링보다 뛰어나다.

ABSTRACT

In this work, we study distributed sketching methods for large scale regression problems. We leverage multiple randomized sketches for reducing the problem dimensions as well as preserving privacy and improving straggler resilience in asynchronous distributed systems. We derive novel approximation guarantees for classical sketching methods and analyze the accuracy of parameter averaging for distributed sketches. We consider random matrices including Gaussian, randomized Hadamard, uniform sampling and leverage score sampling in the distributed setting. Moreover, we propose a hybrid approach combining sampling and fast random projections for better computational efficiency. We illustrate the performance of distributed sketches in a serverless computing platform with large scale experiments.

연구 동기 및 목표

• 대규모 데이터를 위한 확장 가능하고 프라이버시를 보장하는 회귀 프레임워크를 개발하여 분산 및 이방성 컴퓨팅 환경에서 효율적으로 작동시키는 것.
• 과다 결정($n > d$) 및 과소 결정($n < d$) 회귀 설정에서 스케칭된 부분 문제들에 대한 파라미터 평균화의 근사 정확도 및 수렴 성질을 분석하는 것.
• 샘플링 및 빠른 투영을 조합한 하이브리드 방법을 포함한 다양한 스케칭 방법 간의 계산 효율성, 프라이버시, 정확도 간의 상호 교환 관계를 평가하는 것.
• 서버리스 플랫폼인 AWS Lambda를 활용해 실제 및 합성 데이터 세트에서의 실용적 성능과 확장성을 입증하는 것.

제안 방법

• 데이터 행렬 $A \in \mathbb{R}^{n \times d}$ 와 벡터 $b \in \mathbb{R}^n$ 를 저차원 공간으로 투영하기 위해 다수의 무작위 스케칭($S_k \in \mathbb{R}^{m \times n}$)을 사용하여 분산 계산을 수행하는 것.
• 스트래글러를 기다리지 않고 이방성 업데이트가 가능하도록 $q$명의 워커 간 파라미터 평균화를 통해 전체 최소 제곱 해를 근사하는 것.
• 정확도 및 데이터 프라이버시를 유지하기 위해 가우시안, 무작위 허다드, 균일 샘플링, 리지드 스코어 샘플링 등의 스케칭 행렬을 적용하는 것.
• 먼저 행을 샘플링하고 나서 빠른 무작위 투영(SJLT)을 적용하는 하이브리드 스케칭 방법을 제안하여 계산 효율성을 향상시키면서도 정확도를 유지하는 것.
• AWS Lambda에 프레임워크를 구현하여 자원이 제한된 서버리스, 고도로 병렬화된 환경에서 성능을 평가하는 것.
• 이론적 분석을 통해 가우시안 스케칭의 기댓값 비용 차이 $\mathbb{E}[f(\bar{x})] - f(x^*)$ 의 경계를 유도하며, 오차를 편향과 분산 성분으로 분해한다.

실험 결과

연구 질문

• RQ1 스케칭된 부분 문제들에 대한 파라미터 평균화가 분산 회귀에서 근사 오차와 수렴에 어떤 영향을 미치는가?
• RQ2 다양한 스케칭 방법(Gaussian, 균일 샘플링, 리지드 스코어, SJLT)이 분산 환경에서 정확도 및 프라이버시에 대해 어떤 이론적 보장을 가지는가?
• RQ3 샘플링 + 빠른 투영으로 구성된 하이브리드 스케칭 방법이 순수 샘플링 또는 순수 스케칭에 비해 정확도 및 런타임 측면에서 어떻게 비교되는가?
• RQ4 분산 스케칭이 스트래글러에 대한 내성과 AWS Lambda와 같은 서버리스 플랫폼에서의 효율적 계산을 얼마나 향상시키는가?
• RQ5 데이터 행렬의 조건수에 관계없이 평균화된 해의 기대 오차를 상수로 제한할 수 있는가? 이는 이방성 SGD와 동일한가?

주요 결과

• 가우시안 스케칭의 경우, 평균화된 해의 기대 비용 $\mathbb{E}[f(\bar{x})]$ 는 비편향이며, 작업자 수 $q$ 가 증가함에 따라 최적 비용 $f(x^*)$ 로 수렴한다.
• 가우시안 스케칭의 기대 오차는 분산과 제곱 편향 성분으로 분해되며, 오차 $\epsilon$ 을 확보하기 위해 필요한 작업자 수는 $1/\epsilon$ 비율로 증가한다.
• EMNIST-bymerge 데이터셋에서 SJLT는 균일 샘플링보다 낮은 근사 오차와 높은 테스트 정확도를 달성했으며, AWS Lambda에서의 런타임은 각각 66.9초 대비 41.5초였다.
• 10^7 × 10^3 및 2×10^7 × 2×10^3 행렬을 사용한 대규모 합성 실험에서 하이브리드 방법은 순수 샘플링보다 오차 감소 속도가 더 빠르게 나타났지만, 처리 시간은 더 길었다.
• 과소 결정 문제($n < d$)에서는 가우시안 스케칭이 최소 노름 해 오차를 최소화하는 데 균일 샘플링보다 뛰어났으며, 하이브리드 방법은 순수 샘플링과 순수 가우시안 스케칭 사이의 성능을 보였다.
• 이론적 결과는 분산 스케칭과 평균화가 조건수에 의존하지 않기 때문에 이방성 SGD보다 더 강력한 수렴 보장을 제공함을 보여주었다.