[論文レビュー] Federated Learning with Positive and Unlabeled Data

Xinyang Lin, Hanting Chen+5 more|arXiv (Cornell University)|Jun 21, 2021

Privacy-Preserving Technologies in Data参考文献 10被引用数 5

ひとこと要約

この論文では、クライアントが一部のクラスのみをラベル付けするため、各クライアントごとに複数の未知のネガティブクラスが生じる、ポジティブおよびアンラベルド（PU）データを対象とした新しいフェデレーテッドラーニングフレームワーク、FedPUを提案する。クロスクライアントのラベル付きデータを活用し、複数のネガティブクラスにおける期待リスクを最小化することで、FedPUはSOTA性能を達成し、CIFAR-10で教師ありおよび半教師ありベースラインを最大10.16%上回った。

ABSTRACT

We study the problem of learning from positive and unlabeled (PU) data in the federated setting, where each client only labels a little part of their dataset due to the limitation of resources and time. Different from the settings in traditional PU learning where the negative class consists of a single class, the negative samples which cannot be identified by a client in the federated setting may come from multiple classes which are unknown to the client. Therefore, existing PU learning methods can be hardly applied in this situation. To address this problem, we propose a novel framework, namely Federated learning with Positive and Unlabeled data (FedPU), to minimize the expected risk of multiple negative classes by leveraging the labeled data in other clients. We theoretically analyze the generalization bound of the proposed FedPU. Empirical experiments show that the FedPU can achieve much better performance than conventional supervised and semi-supervised federated learning methods. Code is available at https://github.com/littleSunlxy/FedPU-torch

研究の動機と目的

• リソースや時間的制約により、クライアントがラベルを付けるクラスの数が限られる状況におけるフェデレーテッドラーニングの課題に対処すること。
• 既存のPU学習手法が単一のネガティブクラスを仮定しているのに対し、クライアントごとに複数の未知ネガティブクラスが存在する状況での制限を克服すること。
• ラベルなしデータとクロスクライアントのラベル付きデータを効果的に活用し、すべてのクラスにおける期待リスクを最小化するフェデレーテッドフレームワークの開発。
• 一般化バウンドの理論的分析と、非IIDおよびラベル付きデータが少ない状況における性能向上の実験的検証。

提案手法

• クライアント間で複数の未知ネガティブクラスに属する可能性のあるラベルなしデータを扱うフェデレーテッドラーニングフレームワークであるFedPUを提案する。
• 他のクライアントのラベル付きデータと、自身のクライアントからのラベルなしデータを用いて、複数のネガティブクラスにおける期待リスク最小化問題を定式化する。
• 未知のクラス分布に対応するためのクラス事前確率推定メカニズムを導入し、異なる事前確率推定値の下でのロバストネスを検証する。
• モデル平均化とクライアントレベルの最適化を用いて、ローカルモデルを訓練する一方で、ラベル付きポジティブサンプルおよびラベルなし（おそらくネガティブ）サンプルの両方のリスクを最小化する。
• 理論的分析により、FedPUの一般化性能は、完全に教師ありモデルの$C\sqrt{C}$倍以内であることが示された。ここで$C$はクラス数を表す。
• 再現性の確保のため、PyTorchを用いて実装し、GitHubで公開済み。

実験結果

リサーチクエスチョン

• RQ1 クライアントが一部のクラスのみをラベル付けする状況で、ラベルなしデータが複数の未知クラスに属する可能性がある場合、フェデレーテッドラーニングはより高い性能を達成できるか？
• RQ2 部分的ラベリングと非IIDデータの下で、FedPUは従来の教師ありおよび半教師ありフェデレーテッドラーニング手法と比較してどのように性能を発揮するか？
• RQ3 クラス事前確率の推定値の変化が、FedPUの性能に与える影響は何か？
• RQ4 明示的なラベルなしでない場合でも、FedPUは複数のネガティブクラスにおける期待リスクを効果的に最小化できるか？
• RQ5 実世界のフェデレーテッド環境におけるデータの不均衡や非IIDデータ分布に対して、FedPUはどの程度ロバストか？

主な発見

• MNISTではポジティブクラスに1/3のデータがラベル付けされた場合、FedPUは94.46%の正確度を達成し、2/3に増加すると95.60%まで向上した。
• CIFAR-10ではIIDデータと1クライアントあたり2つのポジティブクラスの条件下で、FedPUは76.71%の正確度を達成した。一方、ラベル付きデータのみを用いたFedAvgは62.52%であった。
• 非IID設定下でクライアントごとにポジティブクラスが1〜7個に変動する状況でも、FedPUは75.41%の正確度を達成し、Baseline-1を4.00%上回った。
• 挑戦的な非IIDデータ分割条件下でも、FedPUは61.05%の正確度を達成し、ベースラインを8.66%上回った。
• CIFAR-10では、半教師ありフェデレーテッド手法の中でSOTA性能を達成し、FixMatchやFedMatchを上回った。
• クラス事前確率推定に対してロバストであり、既知の事前確率（π=0.1）の状況と比較して性能劣化が最小限に抑えられていた。