[논문 리뷰] Federated Nonconvex Sparse Learning

Qianqian Tong, Guannan Liang외 2명|arXiv (Cornell University)|2020. 12. 31.

Sparse and Compressive Sensing Techniques참고 문헌 34인용 수 5

한 줄 요약

이 논문은 분산되고 비정규분포인 데이터를 가진 피어드 설정에서 비볼록 희소 학습을 위한 통신 효율적인 알고리즘인 페더레이티드 하드 스레시딩(Fed-HT)과 페더레이티드 반복 하드 스레시딩(FedIter-HT)을 제안한다. 두 알고리즘 모두 선형 수렴를 달성하고 최적의 희소 추정기 복원을 보장하며, 통신 라운드 수를 크게 줄이면서도 높은 정확도를 유지하여 분산 IHT보다 뛰어난 성능을 발휘한다.

ABSTRACT

Nonconvex sparse learning plays an essential role in many areas, such as signal processing and deep network compression. Iterative hard thresholding (IHT) methods are the state-of-the-art for nonconvex sparse learning due to their capability of recovering true support and scalability with large datasets. Theoretical analysis of IHT is currently based on centralized IID data. In realistic large-scale situations, however, data are distributed, hardly IID, and private to local edge computing devices. It is thus necessary to examine the property of IHT in federated settings, which update in parallel on local devices and communicate with a central server only once in a while without sharing local data. In this paper, we propose two IHT methods: Federated Hard Thresholding (Fed-HT) and Federated Iterative Hard Thresholding (FedIter-HT). We prove that both algorithms enjoy a linear convergence rate and have strong guarantees to recover the optimal sparse estimator, similar to traditional IHT methods, but now with decentralized non-IID data. Empirical results demonstrate that the Fed-HT and FedIter-HT outperform their competitor - a distributed IHT, in terms of decreasing the objective values with lower requirements on communication rounds and bandwidth.

연구 동기 및 목표

• 분산되고 비정규분포이며 개인정보가 민감한 환경에서 피어드 설정에서 비볼록 희소 학습의 과제를 해결한다.
• 기존 IHT 방법들이 중심화되고 정규분포 데이터를 가정하는 데서 비롯되는 제약을 현실적인 피어드 학습 환경에서 극복한다.
• 통신 횟수와 대역폭 사용을 줄이면서도 수렴성과 희소성 복원을 유지하는 통신 효율적인 알고리즘을 설계한다.
• 비정규분포이자 분산된 데이터 분포 하에서 이론적으로 선형 수렴성과 최적의 희소 추정기 복원을 보장한다.
• 통신 횟수를 줄이면서도 목적 함수 값 감소 측면에서 분산 IHT보다 뛰어난 성능을 경험적으로 검증한다.

제안 방법

• 중앙 서버에서 로컬 모델 업데이트를 집계한 후 하드 스레시딩을 적용하는 Fed-HT를 제안하여 라운드당 통신 부담을 감소시킨다.
• 각 로컬 클라이언트에서 매 로컬 업데이트 후 하드 스레시딩을 적용하는 FedIter-HT를 제안하여 더 자주 희소성 강제 적용을 가능하게 한다.
• 표준 IHT 업데이트 방식을 변형하여 피어드 학습에 반복 하드 스레시딩을 통합한다: $x_{t+1} = \tilde{\tau}(x_t - \tilde{\rho}_t v_t)$, 여기서 $\tilde{\tau}$는 가장 큰 $\tau$개의 항목만 유지하는 하드 스레시딩 연산자이다.
• 비정규분포 환경에서의 클라이언트 드리프트를 줄이고 학습을 안정화하기 위해 FedIter-HT에 프록시 유사 정규화를 통합한다.
• 클라이언트가 업데이트를 보낼 때까지 다수의 스텝을 로컬에서 학습함으로써 라운드 트립 교환 수를 최소화하여 통신 효율성을 확보한다.
• 이론적 분석을 통해 비정규분포 데이터 하에서 두 알고리즘 모두 선형 수렴를 보장하며, 수렴 속도는 조건 수와 희소성 수준에 따라 달라진다.

실험 결과

연구 질문

• RQ1 비정규분포이며 분산된 데이터를 가진 피어드 학습 환경에서 반복 하드 스레시딩(IHT) 방법을 어떻게 적응시킬 수 있을까? 이때 수렴성과 희소성 보장은 유지되어야 한다.
• RQ2 Fed-HT와 FedIter-HT는 표준 분산 IHT에 비해 통신 효율성과 수렴 속도 측면에서 어떻게 비교될 수 있을까?
• RQ3 비정규분포 데이터 분포는 피어드 IHT 알고리즘의 수렴성과 추정 정확도에 어떤 영향을 미칠까?
• RQ4 제안된 방법들은 피어드 비볼록 희소 학습에서 선형 수렴성과 최적의 희소 추정기 복원을 달성할 수 있을까?
• RQ5 피어드 IHT에서 통신 횟수와 내부 반복 수의 상호 간섭은 전체 학습 효율성에 어떤 영향을 미칠까?

주요 결과

• Fed-HT와 FedIter-HT는 비정규분포 및 분산된 데이터 하에서도 중심화된 IHT 방법과 유사한 선형 수렴 속도를 달성한다.
• Simulatioin I에서 FedIter-HT는 분산 IHT 대비 통신 획수를 최대 5배 감소시켰다 (예: 20 라운드 대비 100 라운드), 목적 함수 값은 유사하거나 더 낮게 유지되었다.
• Simulation II에서 FedIter-HT는 분산 IHT가 200 라운드가 필요한 목적 함수 값을 50 라운드 만에 달성하여 통신 획수를 4배 감소시켰다.
• 더 많은 내부 반복을 사용하더라도, 150ms 네트워크 지연과 20μs 로컬 계산을 가정할 때 Fed-HT와 FedIter-HT는 통신 오버헤드 감소 덕분에 분산 IHT보다 최소 1.6배 빠르게 동작한다.
• 기본 데이터셋(E2006-tfidf, RCV1, MNIST)에서 FedIter-HT는 통신 라운드당 목적 함수 값 감소 측면에서 경쟁자들을 일관되게 능가했으며, 최종 목적 함수 값도 가장 낮았다.
• 경험적 결과는 비정규분포 데이터 하에서 수렴 경로의 랜덤성이 증가함을 보여주었고, 모든 데이터셋에서 FedIter-HT가 가장 낮은 목적 함수 값을 가진 해로 수렴함을 확인했다.