[논문 리뷰] Federated Learning with Taskonomy for Non-IID Data.

Hadi Jamali Rad, Mohammad Abdizadeh외 1명|arXiv (Cornell University)|2021. 03. 29.

Privacy-Preserving Technologies in Data참고 문헌 50인용 수 5

한 줄 요약

Federated Learning with Taskonomy (FLT)는 사전학습된 인코더를 사용해 클라이언트 데이터를 잠재 서명으로 압축하는 일회성 서버 주도 프로세스를 통해 비독립identical 분포(non-IID) 데이터 문제를 해결한다. 서버는 잠재 서명을 바탕으로 다양체 학습(manifold learning)을 적용해 클라이언트 간의 작업 유사성을 모델링하고, 일반화된 플러드 평균화(federated averaging)를 적용함으로써 클러스터링 여부에 관계없이 효율적인 앙상블을 가능하게 하며, 비-IID 환경에서 최신 기술 수준의 성능과 향상된 공정성을 달성한다.

ABSTRACT

Classical federated learning approaches incur significant performance degradation in the presence of non-IID client data. A possible direction to address this issue is forming clusters of clients with roughly IID data. Most solutions following this direction are iterative and relatively slow, also prone to convergence issues in discovering underlying cluster formations. We introduce federated learning with taskonomy (FLT) that generalizes this direction by learning the task-relatedness between clients for more efficient federated aggregation of heterogeneous data. In a one-off process, the server provides the clients with a pretrained (and fine-tunable) encoder to compress their data into a latent representation, and transmit the signature of their data back to the server. The server then learns the task-relatedness among clients via manifold learning, and performs a generalization of federated averaging. FLT can flexibly handle a generic client relatedness graph, when there are no explicit clusters of clients, as well as efficiently decompose it into (disjoint) clusters for clustered federated learning. We demonstrate that FLT not only outperforms the existing state-of-the-art baselines in non-IID scenarios but also offers improved fairness across clients.

연구 동기 및 목표

• 비독립identical 분포(non-IID) 클라이언트 데이터 분포로 인한 성능 저하 문제를 해결하기 위해.
• 기존 클러스터링 기반 접근법의 느린 수렴성과 반복적 성격을 극복하기 위해.
• 클라이언트 간 작업 유사성을 모델링하여 이질적인 데이터의 효율적이고 융통성 있는 앙상블을 가능하게 하기 위해.
• 다양한 데이터 분포를 가진 클라이언트 간 모델 성능의 공정성을 향상시키기 위해.
• 엄격한 클라이언트 클러스터링을 초월해 임의의 클라이언트 유사성 그래프를 지원함으로써 플러드 평균화를 일반화하기 위해.

제안 방법

• 클라이언트는 서버가 제공하는 사전학습된 수정 가능한 인코더를 사용해 로컬 데이터를 잠재 표현으로 압축한다.
• 각 클라이언트는 자신의 잠재 표현의 서명(예: 통계 요약)을 서버에 전송한다.
• 서버는 잠재 서명을 기반으로 클라이언트 간의 작업 유사성을 다각체 학습으로 학습한다.
• 서버는 학습된 클라이언트 유사성 그래프를 고려한 일반화된 플러드 평균화를 수행한다.
• 이 방법은 클러스터링 여부에 관계없이 클라이언트 간의 관계를 기반으로 한 비클러스터링 구성과 명시적 클러스터링을 모두 지원한다.
• 이 방법은 반복적 개선 없이 일회성 프로세스로 설계되어 수렴 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 일회성 반복 없는 방법이 비-IID 피드포워드 학습에서 클라이언트 간 유사성을 효과적으로 모델링할 수 있는가?
• RQ2 클라이언트 간 작업 유사성을 학습함으로써 표준 플러드 평균화 대비 성능 향상이 이루어지는가?
• RQ3 명시적 클라이언트 클러스터링을 초월해 임의의 클라이언트 유사성 그래프를 처리할 수 있는가?
• RQ4 FLT가 이질적인 데이터를 가진 클라이언트 간 모델 정확도의 공정성에 얼마나 기여하는가?
• RQ5 비-IID 환경에서 FLT는 최신 기술 수준의 기준 대비 어떻게 비교되는가?

주요 결과

• FLT는 비-IID 데이터 환경에서 기존 최신 기술 수준의 기준을 뛰어넘어 뛰어난 모델 정확도를 보였다.
• 이 방법은 클라이언트 간 성능 격차를 줄이며 성능 공정성을 향상시켰다.
• 사전 정의된 클러스터 없이도 학습된 클라이언트 유사성을 통합함으로써 플러드 평균화를 효과적으로 일반화했다.
• 일회성 반복 없는 특성 덕분에 반복적 클러스터링 방법 대비 더 빠른 수렴을 달성했다.
• 클라이언트 잠재 서명에 대한 다각체 학습이 작업 유사성을 성공적으로 포착하여 보다 효과적인 앙상블을 가능하게 했다.
• 클라이언트가 매우 이질적인 데이터 분포를 가질 경우에도 높은 성능을 유지했다.