[논문 리뷰] Real-World Image Datasets for Federated Learning

Jiahuan Luo, Xueyang Wu외 5명|arXiv (Cornell University)|2019. 10. 14.

Privacy-Preserving Technologies in Data참고 문헌 23인용 수 67

한 줄 요약

본 논문은 Street Dataset을 제시한다. 이는 federated learning을 위한 현실 세계의 비-IID 영상 데이터셋으로, 다양한 비-IID 데이터 파티션 하에서 FedAvg를 이용한 YOLOv3 및 Faster R-CNN의 벤치마크를 수행한다.

ABSTRACT

Federated learning is a new machine learning paradigm which allows data parties to build machine learning models collaboratively while keeping their data secure and private. While research efforts on federated learning have been growing tremendously in the past two years, most existing works still depend on pre-existing public datasets and artificial partitions to simulate data federations due to the lack of high-quality labeled data generated from real-world edge applications. Consequently, advances on benchmark and model evaluations for federated learning have been lagging behind. In this paper, we introduce a real-world image dataset. The dataset contains more than 900 images generated from 26 street cameras and 7 object categories annotated with detailed bounding box. The data distribution is non-IID and unbalanced, reflecting the characteristic real-world federated learning scenarios. Based on this dataset, we implemented two mainstream object detection algorithms (YOLO and Faster R-CNN) and provided an extensive benchmark on model performance, efficiency, and communication in a federated learning setting. Both the dataset and algorithms are made publicly available.

연구 동기 및 목표

• 비 IID 및 불균형Federated 설정을 반영한 실세계 이미지 데이터셋 제공.
• 카메라 간 물체 분포를 주석 달고 분석.
• Federated Learning 설정에서 두 물체 검출기(YOLOv3 및 Faster R-CNN) 벤치마크.
• 연합 제약 하에서 모델 성능, 효율성 및 통신 비용 평가.

제안 방법

• 7개 객체 카테고리로 도로 카메라 이미지를 수집하고 주석 달기.
• 다중 클라이언트 페더레이티드 설정을 시뮬레이션하기 위해 데이터를 Street-5와 Street-20으로 분할.
• 구성 가능한 C(라운드당 클라이언트), E(로컬 에폭), B(배치 크기)를 갖는 FedAvg 채택.
• 사전 학습 백본(VGG16 for Faster R-CNN, Darknet-53 for YOLOv3)을 사용한 PyTorch 구현의 YOLOv3 및 Faster R-CNN 활용.
• 0.5 IOU 임계치로 IOU 및 mean average precision(mAP)로 평가.
• 데이터의 비 IID성과 클라이언트 참여가 수렴 및 통신에 미치는 영향에 대해 기본 결과를 제공하고 분석.

실험 결과

연구 질문

• RQ1 실세계의 비 IID 및 불균형 데이터가 객체 탐지의 Federated Learning에 어떤 영향을 미치는가?
• RQ2 FedAvg를 Street 데이터셋의 federated에서 YOLOv3 및 Faster R-CNN에 적용했을 때 성능 및 통신 트레이드오프는 무엇인가?
• RQ3 사전 학습 가중치가 Federated 객체 탐지의 데이터 부족 및 비 IID 문제를 완화할 수 있는가?
• RQ4 다른 클라이언트 수(Street-5 대 Street-20) 및 로컬 에폭 설정이 수렴 및 mAP에 어떤 영향을 미치는가?

주요 결과

모델	C	E	라운드	양 (MB)
YOLOv3 (w/o pretrained)	5	1	158	186,440
YOLOv3 (w/o pretrained)	5	5	48	56,640
YOLOv3 (w/o pretrained)	5	10	90	106,200
YOLOv3 (w/o pretrained)	20	1	83	391,760
YOLOv3 (w/o pretrained)	20	5	448	2,114,560
YOLOv3 (w/o pretrained)	20	10	346	1,633,120
Faster R-CNN	5	1	45	117,675
Faster R-CNN	5	5	30	78,450
Faster R-CNN	5	10	189	494,235
Faster R-CNN	20	1	161	1,684,060
Faster R-CNN	20	5	119	1,244,740
Faster R-CNN	20	10	90	941,400

• 26대의 카메라와 7개 객체 카테고리로 구성된 실세계 Street Dataset이 생성되어 비 IID 및 불균형 분포를 보인다.
• Street-5 및 Street-20 파티션에서 FederatedAvg를 사용한 두 객체 탐지기(YOLOv3 및 Faster R-CNN)를 벤치마크했다.
• 사전학습은 특히 Street-20에서 클라이언트당 샘플 수가 적을 때 초반 수렴 및 최종 mAP를 크게 개선한다.
• 더 큰 로컬 에폭(E)은 초반 수렴을 가속할 수 있지만, 매우 비 IID 설정에서는 항상 최종 성능이 최상일 수 없다.
• FedAvg는 중앙 집중식 학습과 경쟁력 있는 성능을 달성할 수 있으며, 수렴 행동은 C(라운드당 클라이언트 수)와 E(로컬 에폭)에 따라 달라진다.
• 목표 mAP에 도달하는데 필요한 통신 비용은 모델 크기와 연합 구성에 따라 크게 달라지며, YOLOv3가 Faster R-CNN보다 적은 라운드 및 데이터 전송이 필요하다.