[논문 리뷰] Robust Coreset Construction for Distributed Machine Learning

Hanlin Lu, Ming-Ju Li외 4명|arXiv (Cornell University)|2019. 04. 11.

Face and Expression Recognition참고 문헌 41인용 수 4

한 줄 요약

이 논문은 분산 기계 학습을 위한 강건한 코어셋 구축 알고리즘을 제안하며, k-means, PCA, SVM 및 신경망과 같은 다양한 지도 및 비지도 학습 문제를 지원할 수 있는 단일 재사용 가능한 코어셋을 생성함으로써 통신 오버헤드를 최소화한다. 가중치가 부여된 k-means/median 군집 중심을 활용하고 코어셋 구축을 노드 간에 분산시키는 방식으로, 최소한의 데이터 전송으로 여러 모델에 대한 증명 가능한 근사 보장을 달성한다. 실제 데이터셋(MNIST 및 HAR 포함)을 대상으로 한 광범위한 실험을 통해 검증되었다.

ABSTRACT

Coreset, which is a summary of the original dataset in the form of a small weighted set in the same sample space, provides a promising approach to enable machine learning over distributed data. Although viewed as a proxy of the original dataset, each coreset is only designed to approximate the cost function of a specific machine learning problem, and thus different coresets are often required to solve different machine learning problems, increasing the communication overhead. We resolve this dilemma by developing robust coreset construction algorithms that can support a variety of machine learning problems. Motivated by empirical evidence that suitably-weighted k-clustering centers provide a robust coreset, we harden the observation by establishing theoretical conditions under which the coreset provides a guaranteed approximation for a broad range of machine learning problems, and developing both centralized and distributed algorithms to generate coresets satisfying the conditions. The robustness of the proposed algorithms is verified through extensive experiments on diverse datasets with respect to both supervised and unsupervised learning problems.

연구 동기 및 목표

• 각 학습 작업용 문제에 특화된 코어셋을 구축함으로써 발생하는 분산 기계 학습의 높은 통신 비용을 해결한다.
• 지난 지도 및 비지도 모델을 포함한 다양한 기계 학습 문제를 지원하는 단일 코어셋을 사용하는 통합된 코어셋 구축 프레임워크를 개발한다.
• k-means, PCA, SVM 및 딥 네트워크를 포함한 다양한 학습 문제에 대해 코어셋의 이론적 근사 보장을 확보한다.
• 대규모 고차원 데이터셋에 대해 스케일링되며, 데이터 프라이버시를 유지하고 대역폭 사용을 최소화하는 효율적인 중심집중형 및 분산 알고리즘을 설계한다.
• 실제 엣지 컴퓨팅 환경에서 다양한 데이터 분포, 모델 복잡도 및 통신 제약 조건을 고려하여 코어셋의 강건성을 검증한다.

제안 방법

• 적절하게 가중치가 부여된 k-means 또는 k-median 군집 중심을 핵심 요약 원리로 사용하여 코어셋을 구축하며, 이들의 강건성에 대한 경험적 증거를 활용한다.
• 이러한 가중치가 부여된 중심점이 다양한 학습 문제에 대해 유한한 상대 근사 오차를 보장하는 ϵ-코어셋을 형성할 수 있는 이론적 조건을 수립한다.
• 정확도와 통신 비용을 균형 잡기 위해 코어셋 크기와 로컬 중심점을 노드 간에 할당하는 분산 코어셋 구축 알고리즘(DRCC)을 설계한다.
• 에지 노드가 최소한의 데이터 전송으로 공동으로 글로벌 코어셋을 구축할 수 있도록 통신 효율적인 코어셋 구축(CDCC) 프로토콜을 도입한다.
• 리프시츠 연속성 경계를 적용하여 기본 문제(MEB 등)에서부터 SVM 및 신경망과 같은 더 복잡한 모델로의 근사 보장을 확장한다.
• 몬테카를로 평가를 통해 상대 근사 오차 경계의 경험적 검증을 수행하고, 모든 데이터셋과 모델에서 이론적 한계 내에 유지됨을 확인한다.

Figure 1: Application scenario (ML $i$ : machine learning model $i$ ).

실험 결과

연구 질문

• RQ1 재수집이 필요 없이 분산 환경에서 단일 코어셋을 구성하여 다양한 기계 학습 문제를 지원할 수 있는가?
• RQ2 k-means/metric 중심에서 구축된 코어셋이 다양한 학습 문제에 대해 증명 가능한 근사를 제공하기 위한 이론적 조건은 무엇인가?
• RQ3 다양한 데이터 분포와 모델 유형에 걸쳐 강건성을 유지하기 위해 분산 노드 간에 코어셋 크기와 로컬 중심점 할당을 어떻게 최적화할 수 있는가?
• RQ4 제안된 코어셋은 전체 데이터셋을 사용해 훈련한 것과 비교해 깊은 신경망 및 SVM과 같은 복잡한 모델의 정확도를 어느 정도 유지하는가?
• RQ5 코어셋 크기와 로컬 중심점 수가 분산 코어셋 구축에서 모델 성능에 미치는 영향은 무엇이며, 존재하는 트레이드오프는 무엇인가?

주요 결과

• 제안된 코어셋 구축은 피셔의 아카이브 이рис 데이터셋(MEB, 코어셋 크기 20)에서 최대 상대 근사 오차 0.0053을 달성하였으며, 이는 이론적 한계 ε = 0.1073 이하로 매우 낮은 수준이다.
• MNIST에서는 이론적 한계 ε = 10.74에 비해 실제 오차가 0.0024로 매우 낮게 나타나, 실제 오차가 최악의 경우 한계보다 훨씬 낮음을 확인하였다.
• 로컬 중심점 수(K)를 1에서 2로 증가시킴으로써 모델 성능이 뚜렷이 향상되었으며, 특히 신경망에서 두드러진 효과를 보였지만, 비지도 학습 모델에서는 추가 증가로 인한 수익 감소가 나타났다.
• 코어셋 크기를 늘릴 경우 분산 코어셋 구축(DRCC)이 기준 방법보다 모델 품질 면에서 뛰어난 성능을 보이며 강력한 확장성과 통신 효율성을 입증하였다.
• 코어셋을 사용해 HAR 및 MNIST에서 딥 네트워크를 훈련한 결과, 전체 데이터 모델 대비 각각 78.01% 및 87.01%의 정확도를 달성하였으며, 원시 데이터의 극히 소수의 전송만으로도 가능했다.
• 모든 데이터셋과 모델에서 근사 오차에 대한 이론적 경계가 일관되게 상한선을 유지함을 확인하여, 다양한 학습 문제에 걸쳐 코어셋 구축의 강건성을 입증하였다.

Figure 2: Comparison of coreset construction algorithms (coreset size: 8).