[논문 리뷰] An Isolated Data Island Benchmark Suite for Federated Learning.

Yuan Liang, Yange Guo외 4명|arXiv (Cornell University)|2020. 08. 17.

Privacy-Preserving Technologies in Data참고 문헌 28인용 수 7

한 줄 요약

이 논문은 의료, 금융 및 AIoT 분야의 실세계 고립 데이터 아일랜드를 시뮬레이션하는 오픈소스 벤치마크 세트인 FLBench를 소개한다. 이러한 분야의 본질적 데이터 특성을 반영함으로써 FLBench는 연합 학습 알고리즘의 철저한 평가를 가능하게 하며, 알고리즘 개발 및 벤치마크에 적합한 확장성 있고 자동화된 배포 플랫폼을 제공한다.

ABSTRACT

Federated learning (FL) is a new machine learning paradigm, the goal of which is to build a machine learning model based on data sets distributed on multiple devices--so called Isolated Data Island--while keeping their data secure and private. Most existing work manually splits commonly-used public datasets into partitions to simulate real-world Isolated Data Island while failing to capture the intrinsic characteristics of real-world domain data, like medicine, finance or AIoT. To bridge this huge gap, this paper presents and characterizes an Isolated Data Island benchmark suite, named FLBench, for benchmarking federated learning algorithms. FLBench contains three domains: medical, financial and AIoT. By configuring various domains, FLBench is qualified for evaluating the important research aspects of federated learning, and hence become a promising platform for developing novel federated learning algorithms. Finally, FLBench is fully open-sourced and in fast-evolution. We package it as an automated deployment tool. The benchmark suite will be publicly available from this http URL.

연구 동기 및 목표

• 의료, 금융 및 AIoT와 같은 도메인에서 실세계 데이터 특성을 반영하지 못하는 기존 연합 학습 벤치마크의 격차를 보완하기 위해.
• 고립된 데이터 아일랜드의 본질적 분포 및 구조적 특성을 반영하는 종합적인 벤치마크 세트를 개발하기 위해.
• 다양하고 현실적인 데이터 도메인에서 연합 학습 알고리즘을 평가하기 위한 표준화되고 확장 가능한 플랫폼을 제공하기 위해.
• 자동화된 배포 및 오픈소스 가용성을 통해 신규 연합 학습 알고리즘의 개발을 지원하기 위해.

제안 방법

• 의료, 금융 및 AIoT 애플리케이션의 데이터를 포함하는 다중 도메인 벤치마크 세트인 FLBench의 설계 및 구축.
• 실세계 데이터 고립 패턴을 반영하도록 데이터 파artition을 구성함으로써 도메인 특화된 통계적 및 구조적 특성을 유지.
• 벤치마크 실행 및 알고리즘 평가를 간소화하기 위한 자동화된 배포 도구의 구현.
• 실제 연합 학습 시나리오를 시뮬레이션하기 위해 다양한 데이터 분포 및 이질성 패턴의 통합.
• 각 도메인에서의 실세계 데이터 특성(예: 클래스 불균형, 특성 상관관계, 시간적 동적 특성)의 사용.
• 전체 벤치마크 세트의 오픈소스화를 통해 커뮤니티 주도의 발전과 재현 가능한 연구를 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 의료, 금융 및 AIoT와 같은 다양한 실세계 데이터 도메인에서 연합 학습 알고리즘이 어떻게 성능을 발휘하는가?
• RQ2 기존의 벤치마크 데이터셋이 실질적으로 고립된 데이터 아일랜드의 본질적 특성을 얼마나 잘 반영하지 못하는가?
• RQ3 통합된 벤치마크 세트가 실세계 연합 학습 시나리오의 이질성과 복잡성을 얼마나 잘 포괄할 수 있는가?
• RQ4 FLBench는 신규 연합 학습 알고리즘의 개발 및 평가를 얼마나 효과적으로 지원하는가?

주요 결과

• FLBench는 의료, 금융 및 AIoT 데이터에서 클래스 불균형, 특성 상관관계 및 시간적 동적 특성과 같은 도메인 특화된 데이터 특성을 성공적으로 반영한다.
• 합성 또는 수동으로 파artition된 공개 데이터셋과 비교할 때, FLBench는 더 현실적인 연합 학습 알고리즘 평가를 가능하게 한다.
• 통합된 배포 도구 덕분에 FLBench는 확장성 있고 자동화된 평가를 지원하여 재현 가능성과 사용성을 향상시킨다.
• FLBench의 오픈소스화는 커뮤니티의 도입과 지속적인 발전을 촉진하며, 향후 FL 연구를 위한 유망한 플랫폼로 자리매김한다.