[論文レビュー] Resource-Constrained Federated Learning with Heterogeneous Labels and Models

Gautham Krishna Gudur, Bala Shyamala Balaji+1 more|arXiv (Cornell University)|Nov 6, 2020

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

本論文は、モデルスコアの$α$-重み付き集約を用いることで、非同一分布のデータ環境下におけるモデルとラベルの非均質性を扱うリソース効率の高いフェデレーテッドラーニングフレームワークを提案する。全モデル重みの送信を回避することで、通信帯域と遅延を削減し、堅牢なグローバルモデルの更新を可能にする。Animals-10データセットにおいて、平均で16.7%の決定的精度向上を達成し、ラベルの重複が大きい状況で顕著な改善を示す。また、Raspberry Pi 2のようなエッジデバイスでも実用可能であることが示された。

ABSTRACT

Various IoT applications demand resource-constrained machine learning mechanisms for different applications such as pervasive healthcare, activity monitoring, speech recognition, real-time computer vision, etc. This necessitates us to leverage information from multiple devices with few communication overheads. Federated Learning proves to be an extremely viable option for distributed and collaborative machine learning. Particularly, on-device federated learning is an active area of research, however, there are a variety of challenges in addressing statistical (non-IID data) and model heterogeneities. In addition, in this paper we explore a new challenge of interest -- to handle label heterogeneities in federated learning. To this end, we propose a framework with simple $\\alpha$-weighted federated aggregation of scores which leverages overlapping information gain across labels, while saving bandwidth costs in the process. Empirical evaluation on Animals-10 dataset (with 4 labels for effective elucidation of results) indicates an average deterministic accuracy increase of at least ~16.7%. We also demonstrate the on-device capabilities of our proposed framework by experimenting with federated learning and inference across different iterations on a Raspberry Pi 2, a single-board computing platform.

研究の動機と目的

• 非同一分布のフェデレーテッドラーニングにおいて、特にリソース制限のあるIoTおよびエッジ環境におけるラベルとモデルの非均質性という課題に対処すること。
• 全モデル重みの送信を必要としない効果的なグローバルモデルの集約を可能にし、通信負荷を低減すること。
• ラベルの重複情報を活用して、重み付きスコア集約により、クライアント間での知識移行を強化することで、モデル精度を向上させること。
• Raspberry Pi 2のような低消費電力プラットフォームで、フェデレーテッドラーニングと推論のデバイス内実行が可能であることを実証すること。

提案手法

• 全モデル重みの代わりに、モデルスコアの$α$-重み付きフェデレーテッド集約を提案することで、帯域と遅延を削減する。
• ラベルの重複情報を用いて重み付きグローバル更新を計算し、クライアント間での知識移行を強化する。
• 完全なモデル蒸留を避けるために、スコアレベルのコンSENSUSによる局所モデル出力の整合化に転移学習の原則を適用する。
• ラベルの重複に基づいて動的にクライアントの寄与度を重みづけする、シンプルで効果的な集約戦略を採用する。
• 全重みではなくスコアのみをクライアントとサーバー間で交換する、通信効率の高いプロトコルを設計する。
• 三つのクライアントがそれぞれ異なる部分的に重複するラベル集合を持つAnimals-10データセットを用いて、フレームワークの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 非同一分布のデータ環境下で、ラベルとモデルの非均質性に対してフェデレーテッドラーニングをどのようにして頑健に保つか。
• RQ2 ラベルの重複を活用したスコアレベルの集約は、全モデル重みの送信なしにグローバルモデルの精度を向上させることができるか。
• RQ3 ラベルの重複が、フェデレーテッドラーニングにおけるグローバルモデル更新の安定性と性能に与える影響は何か。
• RQ4 エッジデバイスにおけるデバイス内計算と通信負荷の観点から、提案フレームワークの効率性はどの程度か。
• RQ5 Raspberry Pi 2のような低リソースプラットフォームに、リアルタイムの推論と学習が効果的に展開可能か。

主な発見

• 提案フレームワークは、ローカルモデルと比較して、全クライアントの平均で16.7%の決定的精度向上を達成した。特にラベルの重複が大きい状況で顕著な向上を示した。
• ラベル{Dog, Sheep}を有するUser 2は、23.17%の精度向上を達成し、ラベルの重複情報が有効であることを実証した。
• ラベルの重複が小さいUser 1とUser 3は、それぞれ17.36%および9.3%の向上を示した。これは、ラベルの重複が性能向上に寄与することを確認した。
• ラベルの重複が存在する場合、ローカル精度の変動にかかわらずグローバルモデルが頑健であることが、User 2の安定したグローバル更新から明らかになった。
• デバイス内推論は1サンプルあたり15 msで実行可能であり、Raspberry Pi 2では1エポックあたり約1.8秒の学習時間がかかることから、エッジハードウェアでの実行可能性が裏付けられた。
• 完全な蒸留を回避することで、モデル蒸留ベースのアプローチよりもデバイス内計算時間を短縮し、遅延を低減した。