[論文レビュー] Federated Distillation: A Survey

Li Lin, Jianping Gou+3 more|arXiv (Cornell University)|Apr 2, 2024

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

このサーベイでは Federated Distillation (FD) を概説し、知識蒸留がモデルパラメータの交換ではなくソフトラベルを交換することでFLにおける柔軟で通信効率の高い協働をいかに可能にするかを詳述し、課題・手法・応用を概観します。

ABSTRACT

Federated Learning (FL) seeks to train a model collaboratively without sharing private training data from individual clients. Despite its promise, FL encounters challenges such as high communication costs for large-scale models and the necessity for uniform model architectures across all clients and the server. These challenges severely restrict the practical applications of FL. To address these limitations, the integration of knowledge distillation (KD) into FL has been proposed, forming what is known as Federated Distillation (FD). FD enables more flexible knowledge transfer between clients and the server, surpassing the mere sharing of model parameters. By eliminating the need for identical model architectures across clients and the server, FD mitigates the communication costs associated with training large-scale models. This paper aims to offer a comprehensive overview of FD, highlighting its latest advancements. It delves into the fundamental principles underlying the design of FD frameworks, delineates FD approaches for tackling various challenges, and provides insights into the diverse applications of FD across different scenarios.

研究の動機と目的

• FD の概念と、データ/モデルのヘテロゲニティや通信コストといった FL の課題にどのように対処するかを説明する。
• FD の定式化、アーキテクチャ、およびソフトラベル知識移転の役割を要約する。
• FD のスキーム（データ/公開データ/合成データ、ヘテロゲニティ緩和、プライバシーの考慮事項）と、領域横断の実践的応用を調査する。

提案手法

• クライアントがモデルパラメータの代わりに公開データセット上でソフトラベルを共有する FD フレームワークを提示する。
• 公開データ上での蒸留、ソフトラベルのサーバー集約、クライアント蒸留と局所微調整という主要な FD ワークフローを説明する。
• データ入手性（公開データ、合成データ）とヘテロゲニティの課題（データ、システム、モデル）に基づいて FD スキームを分類する。
• FD の文脈における知識蒸留のカテゴリ（ラベル、特徴、パラメータ、リレーション）を論じる。
• 通信量の削減や潜在的なプライバシー利点を含む、パラメータベースに依存する FL に対する FD の利点を強調する。

実験結果

リサーチクエスチョン

• RQ1 Federated Distillation (FD) は FL における通信コストとアーキテクチャのヘテロゲニティをどのように解決するか？
• RQ2 データヘテロゲニティを扱う主な FD スキームは何か、公開データや合成データが FD の性能にどのように影響するか？
• RQ3 知識タイプとスキーム設計によって FD アプローチをどのように分類し、実際の適用と制限は何か？
• RQ4 今後の研究における FD の主要な未解決課題と方向性は何か？
• RQ5 FD はワイヤレス、セキュリティ、監視、分類などの領域でどのように適用されてきたか？

主な発見

• FD はパラメータ交換をソフトラベル蒸留に置き換え、通信オーバーヘッドを削減する。
• 公開データまたは合成データ上で知識を蒸留することにより、異種のクライアント-サーバーアーキテクチャを可能にする。
• 公開データおよび合成データの FD スキームはデータヘテロゲネシティと非 IID 設定の緩和に役立つ。
• 複数の FD 戦略（選択的 FD、相互蒸留、データなし FD）はプライバシーと堅牢性の懸念に対応する。
• FD は無線通信、キーワードスポット、人物再識別、侵入検知などの領域に適用されている。
• データヘテロゲネシティは引き続き中心的な課題であり、補助データ、データ生成、蒸留技術を活用した継続的な戦略がある。