[論文レビュー] Federated Learning with Only Positive Labels

Felix X. Yu, Ankit Singh Rawat+2 more|arXiv (Cornell University)|Apr 21, 2020

Privacy-Preserving Technologies in Data参考文献 26被引用数 40

ひとこと要約

本論文は FedAwS を提案する。各クライアントが正例のみを持つフェデレーテッドラーニングのフレームワークで、サーバ上に spreadout 正則化を適用してクラス埋め込みの崩壊を防ぎ、負のラベルを用いる標準設定とほぼ同等の性能を達成する。

ABSTRACT

We consider learning a multi-class classification model in the federated setting, where each user has access to the positive data associated with only a single class. As a result, during each federated learning round, the users need to locally update the classifier without having access to the features and the model parameters for the negative classes. Thus, naively employing conventional decentralized learning such as the distributed SGD or Federated Averaging may lead to trivial or extremely poor classifiers. In particular, for the embedding based classifiers, all the class embeddings might collapse to a single point. To address this problem, we propose a generic framework for training with only positive labels, namely Federated Averaging with Spreadout (FedAwS), where the server imposes a geometric regularizer after each round to encourage classes to be spreadout in the embedding space. We show, both theoretically and empirically, that FedAwS can almost match the performance of conventional learning where users have access to negative labels. We further extend the proposed method to the settings with large output spaces.

研究の動機と目的

• 各クライアントが1つのクラスについて正例データのみを持つフェデレーテッド環境で、マルチクラス分類器の学習を動機づけ、形式化する。
• FedAwS を提案する。これは FedAvg ベースのフレームワークで、クラス埋め込みを良好に分離しておく幾何的な spreadout 正則化を導入する。
• コサインコントラスト損失と代理リスク分析を通じて、理論的に FedAwS を従来の全ラベル訓練と関連付ける。
• 大規模な出力空間へ FedAwS を拡張し、標準データセット上で実証的検証を行う。

提案手法

• 入力を g_theta で埋め込み、クラス埋め込み行列 W で分類する。クラス i は埋め込み w_i を持つ。
• 各ラウンドで、クライアントは正クラスデータと正の部分損失 l_pos のみを用いて更新する（例: l_cl^pos）。
• サーバはマージン nu を用いてクラス埋め込みのペア間分離を促す spreadout 正則化 reg_sp(W) を適用する。
• FedAwS はフェデレーテッド平均化により theta を更新し、収集されたクライアント埋め込みを用いて W を更新し、その後 reg_sp(W) に対するサーバーサイドの勾配ステップを行う。
• 確率的負値マイニングの変種 (reg_top_sp) は、大規模 C シナリオで spreadout 効果を近似するために近接するクラス埋め込みを適応的に選択する。
• 理論的根拠は FedAwS をコサインコントラスト損失に結びつけ、代理的一貫性と特定の条件下で全ラベル経験リスクへのほぼ同値性を証明する。

実験結果

リサーチクエスチョン

• RQ1 各クライアントが1つのクラスに対して正例データのみを持つとき、フェデレーテッド環境で効果的なマルチクラス学習を達成できるか？
• RQ2 サーバ上で spreadout ジオメトリック正則化を導入することで、埋め込みの崩壊を防ぎ、全ラベル訓練と競合する性能を実現できるか？
• RQ3 FedAwS は大規模出力空間にどの程度スケールするか、極端な多クラス設定で確率的負値マイニングは役立つか？
• RQ4 負のラベルへのアクセスを前提とした従来のコサイン/コントラスト損失との間に、FedAwS の目的との理論的関係は何か？

主な発見

• FedAwS はクラス埋め込みの崩壊を防ぎ、埋め込みベースの分類器において標準的な全ラベル訓練に近しい競争力のある精度を示す。
• Spreadout 正則化はクラス埋め込みの安定性と分離を改善し、ネガティブが利用できない場合の学習を改善する。
• コサイン対照損失は誤分類誤差の代理として確立され、FedAwS の目的を支える。
• データが均衡で各クラスのデータ数 n_i が等しいという仮定と特定の lambda の下で、FedAwS の目的は、負の成分を含む代理損失を用いた経験リスクと一致する。
• CIFAR-10/100 の実験結果は、FedAwS が2つのベースラインを上回り、Precision@1 において Softmax (oracle) の性能に近づく。