[논문 리뷰] Coresets for Vertical Federated Learning: Regularized Linear Regression and $K$-Means Clustering

Lingxiao Huang, Zhize Li외 2명|arXiv (Cornell University)|2022. 10. 26.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 통신 효율적인 수직联邦 학습(VFL)을 위한 통합 코어셋 구성 프레임워크를 제안하며, 정규화된 선형 회귀와 K-평균 군집화에 대해 하위선형 통신 복잡도를 가능하게 한다. 분산 중요도 샘플링과 강건한 코어셋 이론을 활용함으로써, 조건이 약간만 충족되면 n에 대해 o(n) 크기의 코어셋을 사용해 ε-근사 해를 달성하며, 통신을 극적으로 줄이면서도 모델 품질을 유지한다.

ABSTRACT

Vertical federated learning (VFL), where data features are stored in multiple parties distributively, is an important area in machine learning. However, the communication complexity for VFL is typically very high. In this paper, we propose a unified framework by constructing coresets in a distributed fashion for communication-efficient VFL. We study two important learning tasks in the VFL setting: regularized linear regression and $k$-means clustering, and apply our coreset framework to both problems. We theoretically show that using coresets can drastically alleviate the communication complexity, while nearly maintain the solution quality. Numerical experiments are conducted to corroborate our theoretical findings.

연구 동기 및 목표

• 동일한 데이터의 서로 다른 특성 부분집합을 가진 파티들이 참여하는 수직 연합 학습(VFL)에서 높은 통신 복잡도 문제를 해결한다.
• 높은 모델 정확도를 유지하면서도 확장 가능하고 통신 효율적인 VFL 학습 프레임워크를 개발한다.
• 정규화된 선형 회귀와 K-평균 군집화 모두에 적용 가능한 통합 코어셋 구성 방법을 설계한다.
• 데이터셋 크기 n에 대해 하위선형으로 증가하는 코어셋 크기로 ε-근사 해를 달성하여 통신 비용을 크게 줄인다.
• 원시 데이터 전송을 피하면서도 강건한 코어셋 샘플링을 통해 해의 품질을 유지함으로써 기밀성을 확보한다.

제안 방법

• 각 파티에서의 국소 기울기와 특성 노름을 기반으로 하는 샘플링 확률을 활용해 분산 중요도 샘플링을 통해 코어셋을 구성한다.
• 약간의 가정 하에 두 학습 과제 모두에 대해 (β, ε)-근사 보장을 보장하는 강건한 코어셋 프레임워크를 사용한다.
• 코어셋 이론 문헌에서 유도된 이론적 경계를 활용해, 차원 d, k, ε, β, 신뢰도 δ에 따라 영향을 받는 표본 크기 m을 유도한다.
• 각 파티가 국소 통계를 계산하고 오직 코어셋 관련 가중치와 인덱스만 전송하는 통신 효율적인 프rotocol를 설계한다.
• 가짜 차원과 함수 공간 분석을 활용해 코어셋 구성 과정에서의 근사 오차를 제한한다.
• 이론적 프레임워크 내의 g_i 및 cG 항의 경계를 통한 복잡도 제어를 통해 코어셋 크기가 항상 o(n)을 유지하도록 보장한다.

실험 결과

연구 질문

• RQ1 수직 연합 학습(VFL)을 위한 분산적이고 통신 효율적인 코어셋 구성이 가능한가?
• RQ2 코어셋 프레임워크는 VFL에서 정규화된 선형 회귀에 대해 하위선형 통신 복잡도로 ε-근사 해를 달성할 수 있는가?
• RQ3 동일한 코어셋 프레임워크는 VFL에서 K-평균 군집화로 확장 가능하며, 유사한 통신 절감 효과를 낼 수 있는가?
• RQ4 코어셋 크기가 모델 복잡도(d, k), 근사 오차 ε, 그리고 신뢰도 δ에 따라 어떻게 변화하는가?
• RQ5 동일한 통신 예산 하에서, 코어셋 기반 접근 방식은 균일 샘플링보다 해의 품질에서 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 코어셋 프레임워크는 n에 독립적인 크기의 코어셋 O(d⁴ / (ε²β²T²) · (d² + log(1/δ)))를 사용해 정규화된 선형 회귀에 대해 ε-근사 해를 달성한다.
• K-평균 군집화의 경우, 코어셋 크기는 O(α²k⁴ / (ε²β²) · (dk + log(1/δ)))이며, 이 역시 n에 대해 하위선형이면서 데이터셋 크기와 독립적이다.
• 통신 복잡도는 m(코어셋 크기)에 대해 O(mT)로 줄어들며, 이는 n에 대해 하위선형 통신 복잡도를 달성한다.
• 수치 실험을 통해 코어셋 방법이 전체 데이터 학습과 유사한 해의 품질을 유지하면서도 통신을 극적으로 줄이는 것으로 확인되었다.
• 균일 샘플링과 비교해, 동일하거나 더 낮은 통신 비용에서 코어셋 접근 방식이 더 뛰어난 모델 성능을 달성한다.
• 이론적 분석을 통해 코어셋 구성이 약간의 조건 하에서도 강건하며, 높은 확률(1−δ)로 근사 보장을 유지함을 증명하였다.