[論文レビュー] Edge Bias in Federated Learning and its Solution by Buffered Knowledge Distillation

Sangho Lee, KiYoon Yoo+1 more|arXiv (Cornell University)|Oct 20, 2020

Privacy-Preserving Technologies in Data参考文献 29被引用数 5

ひとこと要約

本稿は、知識蒸留に基づく分散型学習における'エッジバイアス'——個々のエッジデバイスからの教師モデルが、互換性のないか、過学習した知識を導入することで、中央モデルが以前に学習した知識を忘却する問題——を特定する。著者らは、教師予測のバッファを維持することで、偏りのない知識を効果的に蒸留する'バッファド知識蒸留'（BKD）を提案し、遅延するエッジ（ストラグル）に対する耐性を著しく向上させ、非同期的なFL設定における忘却を低減する。

ABSTRACT

Federated learning (FL), which utilizes communication between the server (core) and local devices (edges) to indirectly learn from more data, is an emerging field in deep learning research. Recently, Knowledge Distillation-based FL methods with notable performance and high applicability have been suggested. In this paper, we choose knowledge distillation-based FL method as our baseline and tackle a challenging problem that ensues from using these methods. Especially, we focus on the problem incurred in the server model that tries to mimic different datasets, each of which is unique to an individual edge device. We dub the problem 'edge bias', which occurs when multiple teacher models trained on different datasets are used individually to distill knowledge. We introduce this nuisance that occurs in certain scenarios of FL, and to alleviate it, we propose a simple yet effective distillation scheme named 'buffered distillation'. In addition, we also experimentally show that this scheme is effective in mitigating the straggler problem caused by delayed edges.

研究の動機と目的

• エッジバイアス——エッジ上で独自の、もしかすると小規模または偏ったデータセットで学習されたモデルが、中央モデルに互換性のない知識を導入する、知識蒸留に基づく分散型学習における問題——を特定・形式化すること。
• 非同期的な分散型学習において、偏ったまたは同期が取れていないエッジモデルからの知識蒸留によって引き起こされるモデルの忘却問題に対処すること。
• 完全なモデルアグリゲーションや同期化を必要とせず、軽量かつ効果的な解決策——バッファド知識蒸留——を提案し、モデルの安定性と性能を向上させること。
• エッジバイアスがFLにおけるストラグル問題の根本的原因であることを示し、BKDが高品質で一貫性のある知識の選択的蒸留によりその影響を軽減することを実証すること。

提案手法

• 複数のエッジにおける教師モデルの予測をバッファに保持することで、一貫性があり偏りのない知識を効果的に蒸留できる、'バッファド知識蒸留'（BKD）という蒸留方式を提案する。
• 複数のエッジモデルからの予測の移動平均またはバッファを用いて安定した教師信号を形成し、個々の偏ったまたは古くなったエッジモデルの影響を軽減する。
• 学生モデルとバッファドされた教師予測との間で知識蒸留損失を適用し、学生がより代表的で安定した知識源から学習することを保証する。
• バッファを反復的に更新することで、新しいエッジデータに適応しつつ、ストラグルや過学習したモデルからの干渉を最小限に抑える動的蒸留プロセスを導入する。
• 学生モデルとバッファドされた教師出力との間で温度スケーリングを施した交差エントロピー損失を適用し、ソフトラベルの蒸留を促進することで、一般化能力を保持する。
• 同期的および非同期的エッジ更新シナリオの両方において、BKDと通常の知識蒸留を比較する実験を設計し、ストラグルに対する耐性を検証する。

実験結果

リサーチクエスチョン

• RQ1 エッジ上で独自の、もしかすると小規模または偏ったデータセットで学習された教師モデルからの知識蒸留は、分散型学習における性能をどのように劣化させるか？
• RQ2 非同期的なFL設定において、新しい偏ったエッジモデルからの知識蒸留によって中央モデルが以前に学習した知識を忘却する主な原因は何か？
• RQ3 完全なモデルアグリゲーションが行われない状況下でも、バッファド蒸留機構がエッジバイアスの悪影響を軽減し、モデルの安定性を向上させられるか？
• RQ4 ストラグルエッジ（古くなった重みや一貫性のないモデル重みを持つ）が教師として使用される場合、バッファド知識蒸留は性能の変動をどの程度低減できるか？

主な発見

• 通常の知識蒸留では、同期が取れていないか、過学習したエッジモデルからの蒸留によって、分散型学習における性能が著しく低下する。
• ストラグルエッジ（古くなった重みを持つ）が教師として使用される場合、通常の知識蒸留は高い性能の変動を示し、以前に学習した知識の忘却が顕著に進行する。
• バッファド知識蒸留（BKD）は性能のばらつきを低減し、同期的エッジとストラグルエッジの両方を教師として交互に使用しても、一貫した精度を維持する。
• BKDは完全に同期された学習と同等の精度を達成しながら、頻繁な同期や完全なモデルアグリゲーションを必要としないため、大規模なFLシステムにおいて実用的である。
• 情報非対称性や古くなったエッジモデルの影響を低減するため、安定したバッファド教師信号から知識を選択的に蒸留することで、ストラグル問題を効果的に緩和する。
• CIFAR-100を用いた実験（2〜3エッジ）では、BKDが元のコアモデルの重み分布に近い学生モデルを維持することを示しており（例：元の重みからの相対的距離が0.38対0.44）、忘却が軽減されていることが確認された。