[論文レビュー] FLAIR: Federated Learning Annotated Image Repository

Congzheng Song, Filip Granqvist+1 more|arXiv (Cornell University)|Jul 18, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

FLAIR は、429,078枚の画像と 51,414人の実際の Flickr ユーザーに由来する、長尾ラベル分布、ユーザーデータの非同一性、特徴量のずれといった現実的な条件におけるフェデレーテッドラーニングをベンチマークするためのスケーラブルでマルチラベル画像データセットである。本論文は、集中学習、フェデレーテッドラーニング、および微分プライバシー学習の再現可能なベースラインを提示し、データの不均衡とノイズの影響により、フェデレーテッドおよびプライベートな設定下でレアクラスのモデル性能が著しく低下することを示している。

ABSTRACT

Cross-device federated learning is an emerging machine learning (ML) paradigm where a large population of devices collectively train an ML model while the data remains on the devices. This research field has a unique set of practical challenges, and to systematically make advances, new datasets curated to be compatible with this paradigm are needed. Existing federated learning benchmarks in the image domain do not accurately capture the scale and heterogeneity of many real-world use cases. We introduce FLAIR, a challenging large-scale annotated image dataset for multi-label classification suitable for federated learning. FLAIR has 429,078 images from 51,414 Flickr users and captures many of the intricacies typically encountered in federated learning, such as heterogeneous user data and a long-tailed label distribution. We implement multiple baselines in different learning setups for different tasks on this dataset. We believe FLAIR can serve as a challenging benchmark for advancing the state-of-the art in federated learning. Dataset access and the code for the benchmark are available at \url{https://github.com/apple/ml-flair}.

研究の動機と目的

• フェデレーテッドラーニングに特化した現実的で大規模な画像データセットの不足を補うために、現実世界のデータの非同一性と規模を反映するデータセットの構築。
• 非 IID データ、長尾ラベル分布、微分プライバシーといった実用的課題を伴うフェデレーテッドラーニングモデルの評価のためのベンチマーク提供。
• 標準化されたメトリクスとトレーニング設定を通じて、フェデレーテッドラーニングにおけるプライバシー・利便性・効率性のトレードオフを体系的評価可能にする。
• 現実世界のデータ特性を有する分散環境におけるクラス不均衡、少サンプル学習、ノイズ耐性の高いトレーニングに関する研究を支援する。

提案手法

• 51,414人の実際の Flickr ユーザーから 429,078枚の画像を収集し、ユーザーレベルのデータ分布の多様性と現実的なユーザーパartitioningを確保した。
• 2段階のラベル階層（17個の粗い分類と 1,628 個の細かい分類）を用いて画像にラベルを付与し、多段階のベンチマークが可能になった。
• 集中学習、標準フェデレーテッドラーニング、および中央で微分プライバシーを適用したフェデレーテッドラーニングの複数のトレーニング設定を実装した。
• フェデレーテッドトレーニング中にモデル更新に微分プライバシーを適用し、プライバシーと性能のトレードオフを評価した。
• ベースモデルアーキテクチャとして ResNet18 を採用し、検証およびテストセットにおける平均平均適合率（mAP）を用いて性能を評価した。
• 再現可能性とコミュニティの採用を促進するために、GitHub を通じてオープンソースのコードとデータセットへのアクセスを提供した。

実験結果

リサーチクエスチョン

• RQ1 現実的で非同一性のある画像データセット上で、集中学習、フェデレーテッドラーニング、微分プライバシー学習という異なる学習パラダイムにおけるモデル性能はどのように変化するか？
• RQ2 ユーザーパartitionされたデータにおけるラベルの不均衡とデータの非同一性は、フェデレーテッドラーニングにおけるモデル性能をどの程度劣化させるか？
• RQ3 微分プライバシーは、フェデレーテッドラーニングにおけるレアクラスおよび細分化クラスのモデル精度にどのように影響するか？
• RQ4 事前学習モデル（例：ImageNet）は、フェデレーテッド環境下での長尾で細分化された分類タスクの性能を向上させることができるか？
• RQ5 コhortサイズとノイズスケールは、このデータセットにおける微分プライバシー付きフェデレーテッドラーニングのモデル収束と精度にどのように影響するか？

主な発見

• 細分化された 1,628 クラスの分類タクソノミーでは、粗い 17 クラスの分類タクソノミーと比較してモデル性能が著しく低く、検証およびテストセットの 11 クラスがトレーニング中に完全に未観測であった。
• 1,628 個の細分化クラスのうち 134 個がトレーニングセットに 20 例未満の正例しかなく、集中学習およびフェデレーテッドラーニングの両方にとって挑戦的であった。
• 微分プライバシーは、特にフェデレーテッド環境下でスパース勾配における信号対ノイズ比が低いことから、まれなクラスにおける性能劣化を悪化させた。
• 微分プライバシー付きフェデレーテッドラーニングにおける大きなコhortサイズはノイズを低減し、モデル精度を向上させたが、トレーニング遅延を増加させた。
• 低頻度クラスの性能は、フェデレーテッドラーニングの方が集中学習よりも悪く、データの非同一性とプライバシー機構の影響が相乗的に作用していることを示した。
• FLAIR に内在する長尾ラベル分布は、少サンプル学習およびゼロショットフェデレーテッドラーニング分野の研究を前進させるのに適したベンチマークである。