[論文レビュー] Policy-Based Federated Learning

Kleomenis Katevas, Eugene Bagdasaryan+5 more|arXiv (Cornell University)|Mar 14, 2020

Privacy-Preserving Technologies in Data参考文献 64被引用数 4

ひとこと要約

PoliFL は、異なるユーザー集団に対して異種のプライバシー政策（差分プライバシーとデータアクセス制御の異なるレベルを含む）を適用する分散型でエッジベースのフェデレーテッドラーニングフレームワークです。センシティブなモバイルデータ（例：テキスト、画像、センサーログ）の正確なモデル学習を可能にしつつ、個々のプライバシーの好みを尊重し、高プライバシー設定下での段階的訓練により、画像分類で最大84.07%の精度を達成しています。

ABSTRACT

In this paper we present PoliFL, a decentralized, edge-based framework that supports heterogeneous privacy policies for federated learning. We evaluate our system on three use cases that train models with sensitive user data collected by mobile phones - predictive text, image classification, and notification engagement prediction - on a Raspberry Pi edge device. We find that PoliFL is able to perform accurate model training and inference within reasonable resource and time budgets while also enforcing heterogeneous privacy policies.

研究の動機と目的

• 既存のフェデレーテッドラーニングシステムがすべてのユーザーに対して一様なプライバシー政策を前提としているという制限に対処すること。
• 異なるユーザー集団において、差分プライバシー予算のばらつきや、位置情報やマイクの使用など、選択的なデータアクセスといった多様なプライバシー要件を、分散型でエッジベースの環境でサポートすること。
• 予測テキスト、画像分類、ユーザ行動モデリングなど、センシティブなモバイルデータを含む実世界の応用におけるフェデレーテッドラーニングの実用的導入を可能にすること。
• エッジ上で異種のポリシーを強制できることを実証し、モデルの正確性やプライバシー保証を損なわないこと。

提案手法

• PoliFL は各ユーザー端末がローカルモデル学習中に自身のプライバシーポリシーを強制するポリシー指向のアーキテクチャを採用している。
• 中央の PoliFL サーバーがフェデレーテッドアveraging を介してモデル集約を調整し、グループのプライバシーバンダム（$\epsilon$）を用いて最終モデルに差分プライバシーを適用する。
• システムは段階的訓練（cascaded training）を採用している：プライバシーの好みに応じた異なるユーザー集団に対して、順次モデルを訓練することで、全体の精度を向上させる。
• ポリシーは、データアクセス（例：位置情報やマイクの許可／不許可）や差分プライバシーのパrameter（$\sigma$）を制御するドメイン固有言語で定義される。
• サーバーとエッジデバイス間でポリシーと結果を安全に配布するために、VPNレイヤーによる暗号化通信が使用される。
• ローカルポリシーがデータ共有を許可する場合にのみ、モデル更新がサーバーに送信されるため、エンドツーエンドのプライバシー強制が保証される。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングシステムは、異なるユーザー集団に対して、差分プライバシー予算のばらつきや選択的なデータアクセス（例：位置情報、マイク）といった異種のプライバシーポリシーをサポートできるか？
• RQ2 プライバシー制約が異なるグループに対して順次モデルを訓練する段階的訓練は、モデルの正確性とプライバシーバンダムの消費にどのように影響するか？
• RQ3 分散型でエッジベースのフレームワークは、中央集権的な信頼モデルに依存せずに、ユーザー固有のプライバシーポリシーを強制できるか？
• RQ4 実世界のモバイル利用事例において、高プライバシー設定（例：$\sigma=0.001$）と低プライバシー設定（例：$\sigma=0.01$）の間で、性能のトレードオフはどのようなものか？

主な発見

• 画像分類タスクにおいて、段階的訓練は高プライバシー設定（$\sigma=0.01$）の統合学習と低プライバシー設定（$\sigma=0.001$）の単一グループ学習を上回り、84.07%の精度を達成した。
• 予測テキストモデリングでは、高プライバシー志向ユーザー（$\sigma=0.001$）が77.84%の精度を達成した一方、低プライバシー志向ユーザーは70.22%であった。段階的訓練により性能が向上した。
• ユーザ行動モデリングでは、段階的訓練がAUC 71.1%を達成し、全ユーザーがセンシティブなデータを除外する均一ポリシーと比較して1.13%の向上を示した。
• 3つのユースケースすべてにおいて、段階的訓練アプローチは高プライバシー設定および低プライバシー設定を上回り、プライバシーと正確性のバランスを取る有効性を示した。
• 低プライバシー集団の学習は、$\epsilon$ プライバシーバンダムを保つために早期に停止（例：エポック250で停止）する必要があり、プライバシーとモデル収束のトレードオフを浮き彫りにした。
• システムはエッジデバイス上で異種のポリシーを成功裏に強制し、プライバシー保証を維持しながら、Raspberry Pi デバイス上でも正確なモデル集約を実現した。