[論文レビュー] Revocable Federated Learning: A Benchmark of Federated Forest

Yang Liu, Zhuo Ma+4 more|arXiv (Cornell University)|Nov 8, 2019

Privacy-Preserving Technologies in Data参考文献 36被引用数 8

ひとこと要約

本稿では、参加者抹消機能を備えた安全でプライバシー保護型のフェデレーテッドラーニングを実現する新規フレームワークであるRevocable Federated Random Forest（RevFRF）を紹介する。同フレームワークは同型暗号を用いて、ローカルデータを露呈せずにランダムフォレストモデルの構築と予測を可能にするとともに、抹消済み参加者の寄与を安全にモデルから削除する。これにより、実世界の共同環境においても高い効率性と強固なプライバシー保証を達成する。

ABSTRACT

A learning federation is composed of multiple participants who use the federated learning technique to collaboratively train a machine learning model without directly revealing the local data. Nevertheless, the existing federated learning frameworks have a serious defect that even a participant is revoked, its data are still remembered by the trained model. In a company-level cooperation, allowing the remaining companies to use a trained model that contains the memories from a revoked company is obviously unacceptable, because it can lead to a big conflict of interest. Therefore, we emphatically discuss the participant revocation problem of federated learning and design a revocable federated random forest (RF) framework, RevFRF, to further illustrate the concept of revocable federated learning. In RevFRF, we first define the security problems to be resolved by a revocable federated RF. Then, a suite of homomorphic encryption based secure protocols are designed for federated RF construction, prediction and revocation. Through theoretical analysis and experiments, we show that the protocols can securely and efficiently implement collaborative training of an RF and ensure that the memories of a revoked participant in the trained RF are securely removed.

研究の動機と目的

• 抹消済み参加者のデータが訓練済みモデルに埋め込まれたまま残るフェデレーテッドラーニングにおける重要なプライバシーのギャップを是正すること。
• モデルの有用性を損なわせることなく、参加者抹消をサポートする安全で効率的なフレームワークを設計すること。
• 特に医療や企業環境などのマルチパーティ協働における、抹消プライバシーのセキュリティ課題を形式的に定式化し、解決すること。
• フェデレーテッドRF環境下で、同型暗号を用いて安全なモデル構築、予測、および抹消を効率的に実現できることを実証すること。

提案手法

• 同型暗号（HE）を用いて、ローカルデータを露呈せずに木のノードを集約する安全なフェデレーテッドRF構築プロトコルの設計。
• 各参加者が自身の公開鍵で木のノードを暗号化する多鍵HE方式の実装により、安全な集約と分散型の信頼性を実現。
• 暗号化されたクエリが暗号化されたモデル上で評価可能であり、入力やモデル構造が露呈されない安全な予測プロトコルの開発。
• 二段階抹消プロトコルの導入：第一段階で抹消参加者の寄与をモデルから削除し、第二段階で残存する情報痕跡が存在しないことを保証。
• 各ランダム意思決定木（RDT）ノードに対して同型暗号を一度だけ適用することでHEの使用を最適化し、全データ暗号化と比較して計算オーバーヘッドを最小限に抑える。
• RDTノードを分散型で暗号化された形式で保存し、効率的な抹消およびモデル再構築を可能にする。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングフレームワークは、抹消済み参加者のデータが訓練済みモデルから完全に削除されるように、安全な参加者抹消をサポートできるか？
• RQ2 ローカルデータや予測リクエストが露呈されない状態で、フェデレーテッドランダムフォレストにおける安全な集約と予測をどのように達成できるか？
• RQ3 非抹消可能な代替手法と比較して、フェデレーテッドRFフレームワークに抹消機能を導入した際の性能オーバーヘッドはどの程度か？
• RQ4 フェデレーテッドRFの構築および予測において、同型暗号の使用を最適化することで計算コストおよび通信コストを削減できるか？

主な発見

• RevFRFは二段階の抹消により安全な参加者抹消を実現：第一段階で参加者の寄与がモデルから削除され、第二段階で残存するデータ痕跡が存在しないことを保証する。
• RDTノード1つあたりの同型暗号化を1回に限定することで、先行研究（Rana et al., 2015）と比較して木構築フェーズの計算コストを2000倍以上削減する。
• 100個のRDTノードと5000件のサンプルを想定した場合、RevFRFの計算コストは構築段階で3.09秒、予測段階で13.33秒であり、競合プロトコルと比較して顕著に低い。
• 構築段階で1.07MB、予測段階で0.78MBに通信コストを最小限に抑え、両方の指標において先行のHEベース手法を上回る。
• 5名の参加者を抹消した場合、RevFRFは9.8秒でモデルを再構築するが、抹消不能なフレームワーク（IRev.Fed）は31.1秒を要する。これにより、抹消状況下でのRevFRFの効率的優位性が示された。
• 実験結果から、計算コストおよび通信コストがRDTノード数および木の深さに比例して線形に増加することが確認され、理論的分析と整合的である。