[論文レビュー] Towards Utilizing Unlabeled Data in Federated Learning: A Survey and Prospective

Yilun Jin, Xiguang Wei+2 more|arXiv (Cornell University)|Feb 26, 2020

Privacy-Preserving Technologies in Data参考文献 59被引用数 58

ひとこと要約

この論文は連合学習におけるラベルなしデータの利用を調査し、動機、潜在的なトピック、および将来の弱教師付きFL研究を導く主要な課題を概説する。

ABSTRACT

Federated Learning (FL) proposed in recent years has received significant attention from researchers in that it can bring separate data sources together and build machine learning models in a collaborative but private manner. Yet, in most applications of FL, such as keyboard prediction, labeling data requires virtually no additional efforts, which is not generally the case. In reality, acquiring large-scale labeled datasets can be extremely costly, which motivates research works that exploit unlabeled data to help build machine learning models. However, to the best of our knowledge, few existing works aim to utilize unlabeled data to enhance federated learning, which leaves a potentially promising research topic. In this paper, we identify the need to exploit unlabeled data in FL, and survey possible research fields that can contribute to the goal.

研究の動機と目的

• 連合学習（FL）においてなぜラベルなしデータが価値あるのか、そしてどこで最も必要とされるのかを特定する。
• FLに適用可能な関連する弱教師付き学習パラダイムをレビューする（転移学習、半教師付き学習、自己学習、アクティブ学習）。
• ラベルなしデータをFLに統合するための研究方向性、シナリオ、課題を提案する。
• FL設定における非-iidドメインシフトの緩和と堅牢性向上などの利点について論じる。

提案手法

• ラベルなしデータの機会を位置づけるためにFL設定と参加者タイプを分類する（HFL、VFL、FTL）;
• 既存の弱教師付き学習法とそれがFLの文脈にどう適用されるかを調査する;
• FLにおけるラベルなしデータ活用の動機と利点、ドメイン不一致の緩和と堅牢性を含む。
• 将来の研究に向けた潜在的トピック（転移学習、半教師付き、自己学習、アクティブ学習）と関連する課題を概説する；
• 弱教師付きFLにおけるシナリオとアプリケーションの今後の議題を提示する。

実験結果

リサーチクエスチョン

• RQ1 プライバシー制約の下でラベルなしデータを効果的に活用して連合学習を改善するにはどうすればよいか？
• RQ2 FLにおいて最も有望な弱教師付きパラダイムは何か（転移学習、半教師付き、自己学習、アクティブ学習）と、それらが直面する課題は何か？
• RQ3 どのFLシナリオ（クロスデバイス対クロスシロ）でラベルなしデータが最も有益か、そしてなぜか？
• RQ4 FLでラベルなしデータを活用するための主要な研究方向と未解決の問題は何か？

主な発見

• ラベルなしデータは非-iidドメインシフトに対処し、FLにおける分布理解を改善するのに役立つ。
• 転移学習、半教師付き、自己学習、アクティブ学習などの弱教師付き法には可能性があるが、FLではプライバシー、ドメイン不一致、スケーラビリティの課題に直面する。
• クロスデバイスとクロスシロ FLの文脈は、ラベルなしデータ活用に固有の機会と障害を示す。
• 実用的な連合データセットと評価手法が必要で、FTLと関連アプローチを適切に評価する必要がある。
• 堅牢性とセキュリティの考慮事項（例: 敵対的攻撃とメンバーシップ推定）により、ラベルなしデータを介した正則化が促される。
• 本論文は弱教師付きFLの今後の研究を導く具体的なトピックと課題を概説している。