[論文レビュー] Robust Federated Training via Collaborative Machine Teaching using Trusted Instances

Yufei Han, Xiangliang Zhang|arXiv (Cornell University)|May 8, 2019

Privacy-Preserving Technologies in Data参考文献 18被引用数 7

ひとこと要約

本稿では、分散エージェント全体を対象に、信頼できる小規模なデータインスタンスを活用して一貫して損なわれた学習データを特定・是正する協調的マシンティーチングフレームワークCoMTを提案する。プライバシーを保ちながら、データ選択とモデル学習を共同で最適化することで、合成および実世界のデータセットにおいて最先端の性能を達成し、従来手法と比較して学習時間を75%以上短縮するとともに、モデルの精度を向上させた。

ABSTRACT

Federated learning performs distributed model training using local data hosted by agents. It shares only model parameter updates for iterative aggregation at the server. Although it is privacy-preserving by design, federated learning is vulnerable to noise corruption of local agents, as demonstrated in the previous study on adversarial data poisoning threat against federated learning systems. Even a single noise-corrupted agent can bias the model training. In our work, we propose a collaborative and privacy-preserving machine teaching paradigm with multiple distributed teachers, to improve robustness of the federated training process against local data corruption. We assume that each local agent (teacher) have the resources to verify a small portions of trusted instances, which may not by itself be adequate for learning. In the proposed collaborative machine teaching method, these trusted instances guide the distributed agents to jointly select a compact while informative training subset from data hosted by their own. Simultaneously, the agents learn to add changes of limited magnitudes into the selected data instances, in order to improve the testing performances of the federally trained model despite of the training data corruption. Experiments on toy and real data demonstrate that our approach can identify training set bugs effectively and suggest appropriate changes to the labels. Our algorithm is a step toward trustworthy machine learning.

研究の動機と目的

• 一貫性があり検出が困難な系統的データ損傷に起因するフェデレーテッドラーニングの脆弱性に対処すること。
• 生データを共有せずに、分散エージェントが協力的にモデルの耐障害性を向上させることを可能にするプライバシー保護手法を開発すること。
• データチューニングとモデルトレーニングを統合的最適化プロセスに統合し、損なわれた学習データがある状況でも学習性能を向上させること。
• 従来のマシンティーチング手法に共通する計算コストとスケーラビリティの制限を最小限に抑えること。
• 限られた専門家ラベル付き信頼できるデータを備えた実世界のフェデレーテッド環境において、耐障害性のある機械学習の実用的導入を可能にすること。

提案手法

• ローカルエージェントを分散教師とし、中央サーバーを学生とみなす協調的マシンティーチングフレームワークを導入し、コンactで情報性の高い学習サブセットを共同で選択する。
• 専門家によって検証済みの小規模な信頼できるインスタンスをアンカーポイントとして用い、エージェント間で学習データの選択と是正をガイドすることで、真のデータ分布と整合性を保つ。
• 学習インスタンスの選択と、有界な摂動によるラベル修正を同時に最適化する統合的最適化問題を定式化し、モデルの一般化性能を向上させる。
• コンSENSUS最適化を用いて、明示的なデータ転送を回避しながら、分散エージェントが協力的にデータチューニングとモデルトレーニングを実行できるようにし、プライバシーを保護する。
• モデルトレーニングとデータ是正を統合的な目的関数に統合し、最適化の全過程で信頼できるインスタンスと整合性を保つように制約を課す。
• 適応的学習率（例：ネステロフ加速勾配）を用いた段階的更新を導入し、収束速度と安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 信頼できるインスタンスを用いた協調的マシンティーチングは、フェデレーテッドラーニングにおける系統的損傷を受ける学習データを効果的に検出し是正できるか？
• RQ2 データ選択とモデルトレーニングを統合的に最適化することで、非協調的または孤立したデータ是正手法と比較して、どの程度耐障害性が向上するか？
• RQ3 提案手法は、損なわれたデータセット上でモデル性能を維持または向上させつつ、計算コストをどの程度低減できるか？
• RQ4 生データの転送を回避することで、分散エージェント間の効果的な協力が可能になり、プライバシーが保護されるか？
• RQ5 協調的ティーチングによって選択された学習サブセットの最適なサイズと構成は何か？ また、その影響はモデル一般化にどのように現れるか？

主な発見

• CPUSMALL回帰データセットでは、CoMTは学習データの55%のみを用いて決定係数R²が0.71を達成し、TIのみ（0.38）、DUTI（0.56）、rLR（0.58）を大きく上回った。
• IJCNN二値分類データセットでは、ラベル反転ノイズ下でもCoMTはAUCスコア0.73を達成し、すべてのベースライン（≤0.70）を上回り、選択データの55%で高い性能を維持した。
• 回帰では平均1500イテレーション、分類では2000イテレーションでCoMTは収束し、先行研究と同様の収束行動を示した。これは、適応的学習率を用いることでより高速な収束が可能である可能性を示唆している。
• 本手法はデータサイズに対してほぼ線形にスケーリングした：500,000インスタンスでは回帰で384.32秒、分類で684.33秒を要し、強力な計算スケーラビリティを示した。
• すべての実験において、CoMTはDUTIのコストの25%未満の実行時間にまで短縮した。これは、大規模環境下での効率的優位性を確認するものである。
• 選択データ量の増加に伴い性能が単調に向上しないことから、最適でコンパクトな学習サブセットが存在することが確認された。これは、協調的ティーチングの核心的原則を裏付けるものである。