[論文レビュー] Real-World Image Datasets for Federated Learning

Jiahuan Luo, Xueyang Wu+5 more|arXiv (Cornell University)|Oct 14, 2019

Privacy-Preserving Technologies in Data参考文献 23被引用数 67

ひとこと要約

本論文は Street Dataset を提案する。ストリートカメラからの現実世界の非IID画像データセットで、連合学習に用いられ、さまざまな非IIDデータ分割下で FedAvg を用いて YOLOv3 と Faster R-CNN をベンチマークする。

ABSTRACT

Federated learning is a new machine learning paradigm which allows data parties to build machine learning models collaboratively while keeping their data secure and private. While research efforts on federated learning have been growing tremendously in the past two years, most existing works still depend on pre-existing public datasets and artificial partitions to simulate data federations due to the lack of high-quality labeled data generated from real-world edge applications. Consequently, advances on benchmark and model evaluations for federated learning have been lagging behind. In this paper, we introduce a real-world image dataset. The dataset contains more than 900 images generated from 26 street cameras and 7 object categories annotated with detailed bounding box. The data distribution is non-IID and unbalanced, reflecting the characteristic real-world federated learning scenarios. Based on this dataset, we implemented two mainstream object detection algorithms (YOLO and Faster R-CNN) and provided an extensive benchmark on model performance, efficiency, and communication in a federated learning setting. Both the dataset and algorithms are made publicly available.

研究の動機と目的

• 非IIDかつ不均衡な連合学習設定を反映する現実世界の画像データセットを提供する。
• カメラごとの物体分布をアノテーションし分析する。
• 連合学習環境で2つの物体検出器（YOLOv3とFaster R-CNN）をベンチマークする。
• 連合制約下でのモデル性能、効率、及び通信コストを評価する。

提案手法

• 7つの物体カテゴリを持つ街路カメラ画像を収集し、アノテーションする。
• Street-5 と Street-20 にデータを分割して多クライアント連合設定を模擬する。
• C（ラウンドあたりのクライアント数）、E（局所エポック数）、B（バッチサイズ）を設定可能とした FedAvg を採用する。
• Faster R-CNN の VGG16、YOLOv3 の Darknet-53 の事前学習済みバックボーンを用いた PyTorch 実装を使用する。
• 0.5 IOU閾値でIOUとmean average precision (mAP)を用いて評価する。
• 基準結果を提供し、データの非IID性とクライアント参加が収束と通信に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 現実世界の非IIDかつ不均衡なデータは物体検出の連合学習にどう影響するか？
• RQ2 Streetデータセットの連合学習において FedAvg を YOLOv3 と Faster R-CNN に適用した場合の性能と通信のトレードオフは何か？
• RQ3 事前学習済み重みは連合物体検出におけるデータ不足と非IIDの課題を緩和できるか？
• RQ4 異なるクライアント数（Street-5 対 Street-20）と局所エポック設定は収束と mAP にどう影響するか？

主な発見

モデル	C	E	ラウンド	量（MB）
YOLOv3 (w/o pretrained)	5	1	158	186,440
YOLOv3 (w/o pretrained)	5	5	48	56,640
YOLOv3 (w/o pretrained)	5	10	90	106,200
YOLOv3 (w/o pretrained)	20	1	83	391,760
YOLOv3 (w/o pretrained)	20	5	448	2,114,560
YOLOv3 (w/o pretrained)	20	10	346	1,633,120
Faster R-CNN	5	1	45	117,675
Faster R-CNN	5	5	30	78,450
Faster R-CNN	5	10	189	494,235
Faster R-CNN	20	1	161	1,684,060
Faster R-CNN	20	5	119	1,244,740
Faster R-CNN	20	10	90	941,400

• 26台のカメラと7つの物体カテゴリを持つ現実世界の Street Dataset が作成され、非IIDかつ不均衡な分布を示した。
• Street-5 および Street-20 の分割で FederatedAvg に基づく YOLOv3 と Faster R-CNN のベンチマークを実施。
• 事前学習は初期収束と最終的な mAP を大幅に改善し、特に Street-20 の場合、クライアントあたりのサンプル数が少ないときに顕著だった。
• より大きな局所エポック数（E）は初期収束を速める一方で、非常に非IIDな設定では最良の最終性能を必ずしももたらすとは限らない。
• FedAvg は中央集権的トレーニングと競合する性能を達成でき、収束挙動は C（ラウンドあたりのクライアント数）と E（局所エポック）に依存する。
• 目標 mAP へ到達するための通信コストはモデルサイズと連合構成によって大きく異なり、YOLOv3 は Faster R-CNN より少ないラウンドとデータ転送で済む。