[論文レビュー] Federated Learning without Full Labels: A Survey

Yilun Jin, Yang Liu+2 more|arXiv (Cornell University)|Mar 25, 2023

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本調査は、参加者が完全なラベルを保有しない、つまりラベル付きデータが限られているかまったくない状況におけるフェデレーテッドラーニング（FL）を検討する。半教師あり学習、自己教師あり学習、およびトランスファー学習を統合することで、非ラベル付きデータを活用しつつプライバシーを保護する。主な課題として、データの隔離、プライバシー漏洩、データの非同一性を特定し、プライバシー、解釈可能性、公平性、ドメイン一般化の分野における今後の方向性を提示する。

ABSTRACT

Data privacy has become an increasingly important concern in real-world big data applications such as machine learning. To address the problem, federated learning (FL) has been a promising solution to building effective machine learning models from decentralized and private data. Existing federated learning algorithms mainly tackle the supervised learning problem, where data are assumed to be fully labeled. However, in practice, fully labeled data is often hard to obtain, as the participants may not have sufficient domain expertise, or they lack the motivation and tools to label data. Therefore, the problem of federated learning without full labels is important in real-world FL applications. In this paper, we discuss how the problem can be solved with machine learning techniques that leverage unlabeled data. We present a survey of methods that combine FL with semi-supervised learning, self-supervised learning, and transfer learning methods. We also summarize the datasets used to evaluate FL methods without full labels. Finally, we highlight future directions in the context of FL without full labels.

研究の動機と目的

• ラベル付きデータの収集コストが高く、またはドメイン専門知識が求められるため、参加者が完全なラベルを保有できないフェデレーテッドラーニングのギャップを埋めるため。
• FLと半教師あり学習、自己教師あり学習、トランスファー学習を組み合わせる技術を調査し、非ラベル付きデータを効果的に活用するため。
• ラベル付き／非ラベル付きデータの隔離、ラベル交換に伴うプライバシーリスク、完全なラベルなしのFLにおけるデータの非同一性といった課題を分析するため。
• ラベル付きデータが限られている状況におけるプライバシー、解釈可能性、公平性、および未学習ドメインへの一般化に関する未解決問題を特定するため。
• 自動FL、ドメイン一般化、ラベル不足下での頑健性の分野における今後の研究を導くためのキーディレクションを提示するため。

提案手法

• 限られたラベル付きデータと豊富な非ラベル付きデータを活用して、クライアント間でモデルの精度を向上させる半教師あり学習を統合する。
• 非ラベル付きデータから事前学習した表現を自己教師あり学習で行い、その後、最小限のラベル付きデータでフェデレーテッドラーニングでファインチューニングする。
• ラベル付きデータが豊富なソースドメインから、ラベル付きデータが不足するターゲットドメインに適応するモデルを、FL環境でトランスファー学習で活用する。
• データ共有なしにラベル付きクライアントと非ラベル付きクライアント間の知識を統合するために、知識蒸留とコントラスト学習の手法を提案する。
• 特徴量を意味的意味を持つコンponentsに構造化することで、モデルの解釈性を向上させるため、分離表現学習を活用する。
• ラベルの露出を最小限に抑え、非ラベル付きデータの活用によってラベル付きデータの交換依存度を低下させることで、プライバシーリスクに対処する。

実験結果

リサーチクエスチョン

• RQ1 クライアント間でラベル付きデータが不足または存在しない状況において、フェデレーテッドラーニングはどのように非ラベル付きデータを効果的に活用できるか？
• RQ2 分散環境において、FLと半教師あり学習、自己教師あり学習、トランスファー学習を統合するにあたり、主な課題は何か？
• RQ3 ラベル付きデータが限られており、繰り返しアクセスされる状況において、どのようにしてプライバシーを守ることができるか？
• RQ4 分離表現学習は、非均質的かつ非ラベル付きデータで学習されたフェデレーテッドモデルの解釈性を向上させることができるか？
• RQ5 テスト時にターゲットドメインにラベル付きデータが一切存在しない状況で、FLモデルはどのようにして完全に未学習のドメインに一般化できるか？

主な発見

• ラベル付きデータが不足する状況では、自己教師あり学習や半教師あり学習による事前学習と組み合わせることで、非ラベル付きデータがモデル性能を顕著に向上させる。
• クライアントがラベルなしデータのみを保有する「データの隔離」状態は、ラベル付き知識の忘却を引き起こし、性能を低下させる。このギャップを埋めるために、知識蒸留やコントラスト学習の技術が不可欠である。
• ラベル付きデータへの繰り返しアクセスは、勾配逆転攻撃などのプライバシーリスクを高める。このため、非ラベル付きデータの活用は、知識集約の代替手段としてより安全である。
• 非ラベル付きデータの活用により、PATEで示されたように、微分プライバシーにおけるより厳しいプライバシー境界を達成できる。これにより、プライバシーと精度の両方が向上する。
• 非ラベル付きデータからの分離表現学習は、モデルの解釈性を向上させるが、非均質なデータ分布間での安定性は依然として課題である。
• ターゲットドメインにラベル付きデータが一切存在しない状況では、フェデレーテッドドメイン一般化が困難である。これは、ラベル不足下でのフェデレーテッドドメイン一般化の必要性を浮き彫りにしている。