[論文レビュー] Vertical federated learning based on DFP and BFGS

Wenjie Song, Xuan Shen|arXiv (Cornell University)|Jan 23, 2021

Privacy-Preserving Technologies in Data参考文献 13被引用数 5

ひとこと要約

本稿では、ロジスティック回帰における収束の向上と通信ラウンドの削減を目的として、DFPおよびBFGS準ニュートン法を組み合わせた、新たな垂直フェデレーテッドラーニングフレームワークBDFLを提案する。セキュアアグリゲーションを用いた2次最適化により、SGD や単独での DFP/BFGS と比較して、特に非 i.i.d. データおよびプライバシー制約下でも、より高いモデル精度と高速な収束を達成する。

ABSTRACT

As data privacy is gradually valued by people, federated learning(FL) has emerged because of its potential to protect data. FL uses homomorphic encryption and differential privacy encryption on the promise of ensuring data security to realize distributed machine learning by exchanging encrypted information between different data providers. However, there are still many problems in FL, such as the communication efficiency between the client and the server and the data is non-iid. In order to solve the two problems mentioned above, we propose a novel vertical federated learning framework based on the DFP and the BFGS(denoted as BDFL), then apply it to logistic regression. Finally, we perform experiments using real datasets to test efficiency of BDFL framework.

研究の動機と目的

• 垂直フェデレーテッドラーニングにおける勾配降下法（SGD）などの1次最適化手法の高い通信コストと遅い収束を解消すること。
• 非 i.i.d. データ環境下および通信効率性において、既存の準ニュートン法（例：BFGS）の限界を克服すること。
• 両者間で生データを共有しないことで、協働的なモデル学習を可能にする、安全でプライバシー保護型のフレームワークを開発すること。
• 垂直 FL における DFP と BFGS の統合を統一最適化フレームワークに組み込むことで、モデル精度と収束速度を向上させること。
• 実世界のデータセットを用いた厳密なデータプライバシー制約下で、提案された BDFL フレームワークの有効性を実証すること。

提案手法

• DFP および BFGS 準ニュートン法を統合した最適化効率の向上を図る、新たな垂直フェデレーテッドラーニングフレームワーク BDFL を提案する。
• 同数の暗号化を用いた安全なマルチパーティ計算（MPC）を導入し、Party A（データのみ）と Party B（データ＋ラベル）間での暗号化された勾配交換を実現する。
• 各 Party に対して別個のヘッセ近似行列 $ C_k^A $ および $ C_k^B $ を維持し、Broyden–Fletcher–Goldfarb–Shanno（BFGS）および David–Fletcher–Powell（DFP）の更新則に従って反復的に更新する。
• 準ニュートン更新式を用いてパラメータ更新を行う：$ \boldsymbol{w}^{k+1} = \boldsymbol{w}^k - \alpha_k C_k \nabla \ell(\boldsymbol{w}^k) $、ここで $ C_k $ は結合されたヘッセ近似行列である。
• 勾配を暗号化し、中央サーバー（Party C）に送信し、復号と集約を行う安全なアグリゲーションプロトコルを導入することで、データプライバシーを保持する。
• 各ラウンドで学習率の減衰と収束チェックを適用し、安定した学習と早期停止を保証する。

実験結果

リサーチクエスチョン

• RQ1 垂直フェデレーテッドラーニングフレームワークにおいて DFP と BFGS を統合することで、通信ラウンド数を削減しつつ、モデル精度を維持または向上させることができるか？
• RQ2 非 i.i.d. データ分布下で、提案された BDFL フレームワークは SGD や単独の BFGS/DFP と比較して、どのように性能を発揮するか？
• RQ3 BDFL フレームワークは、データスロット間での効果的なモデル学習を可能にしつつ、どの程度のレベルでデータプライバシーを保護できるか？
• RQ4 垂直 FL における2次最適化の活用は、1次最適化手法と比較して、収束速度の向上と一般化性能の向上をもたらすか？
• RQ5 安全な勾配アグリゲーションは、学習プロセスのスケーラビリティおよび耐障害性にどのような影響を及えるか？

主な発見

• クレジットカードデータセットでは、BDFL はテスト精度 91.35% を達成し、SGD（90.90%）および乳がんデータセットにおける BFGS（95.10%）を上回った。BDFL は BFGS と同等の性能を維持しながら、通信オーバーヘッドを削減した。
• 乳がんデータセットでは、BDFL はテスト精度 91.35% を達成し、BFGS（91.29%）をわずかに上回り、DFP（85.57%）および SGD（86.26%）と比較して顕著に優れた性能を示した。
• 訓練損失曲線から、BDFL は DFP や BFGS よりも収束が早く、特に初期学習段階で顕著に優れていることが明らかになった。
• SGD や単独の準ニュートン法と比較して、収束に必要な通信ラウンド数を削減し、通信効率の向上を実証した。
• 生データの共有を一切行わないことで、データプライバシーを適切に維持しており、参加者間で暗号化された勾配および中間値のみが交換されている。
• 収束性と精度の向上は達成されたが、計算コストは依然として高く、収束速度は期待に沿わず、今後の研究において最適化の余地が残っている。