[論文レビュー] A Quasi-Newton Method Based Vertical Federated Learning Framework for Logistic Regression

Kai Yang, Tao Fan+3 more|arXiv (Cornell University)|Dec 1, 2019

Privacy-Preserving Technologies in Data参考文献 12被引用数 57

ひとこと要約

本論文は、加法的同型暗号を用いて通信回数を削減するためのロジスティック回帰に対する準ニュートン法的垂直フェデレーテッドラーニングフレームワークを提案し、初期の一階SGDベースの基準と比較して各ラウンドあたりのコストは控えめでありながら収束を速める。

ABSTRACT

Data privacy and security becomes a major concern in building machine learning models from different data providers. Federated learning shows promise by leaving data at providers locally and exchanging encrypted information. This paper studies the vertical federated learning structure for logistic regression where the data sets at two parties have the same sample IDs but own disjoint subsets of features. Existing frameworks adopt the first-order stochastic gradient descent algorithm, which requires large number of communication rounds. To address the communication challenge, we propose a quasi-Newton method based vertical federated learning framework for logistic regression under the additively homomorphic encryption scheme. Our approach can considerably reduce the number of communication rounds with a little additional communication cost per round. Numerical results demonstrate the advantages of our approach over the first-order method.

研究の動機と目的

• データが二者間で垂直に分割されている場合のプライバシー保護付き協調学習の動機付け。
• ロジスティック回帰の垂直FLにおける収束を加速する準ニュートン法の開発。
• 追加の各ラウンド通信コストを抑えつつ通信回数を削減する。
• 加法的同型暗号を活用して安全な勾配と損失計算を可能にする。
• 一階SGDベースの垂直FL手法と比較した実証的証拠を提供する。

提案手法

• 加法的同型暗号下での暗号化計算を可能にするため、ロジスティック損失のテイラー近似を採用する。
• サブサンプリングされたヘッセ行列情報を使用し、L回の反復ごとに曲率を更新して準ニュートン更新を安定化させる。
• AとBの間で暗号化された中間値を交換することにより、暗号化された損失と勾配を計算する。
• コーディネータで暗号化された勾配と損失を集約し、学習率 η のもとで下降方向 g̃ = H g を計算する。
• メモリ M およびバッチ S と SH を用いたリミテッドメモリ型BFGS風スキームで逆ヘッセ行列 H を更新する。
• ラウンドあたりの通信コストが有界であることを示し、SGDベースの垂直FLと比較する。

実験結果

リサーチクエスチョン

• RQ1 確率的準ニュートン法アプローチは、ロジスティック回帰の垂直フェデレーテッドラーニングにおいて通信回数を削減できるか？
• RQ2 暗号化設定でサブサンプリングされたヘッセ行列を使用する際、1ラウンドあたりの通信コストと総ラウンド数のトレードオフはどのようになるか？
• RQ3 提案されたフレームワークは、実データセットでの収束と性能の観点から、1階 SGD ベースの垂直FL手法とどう比較されるか？
• RQ4 より高速な収束を達成しつつ、加法的同型暗号による安全な計算が維持されているか？

主な発見

Batch Size	Method	Credit 1 Epochs	Credit 1 Loss	Credit 1 AUC	Credit 2 Epochs	Credit 2 Loss	Credit 2 AUC
1000	SGD	12	0.496218	0.7224	12	0.314555	0.7033
1000	Proposed	3	0.496600	0.7222	4	0.314643	0.7061
3000	SGD	18	0.496194	0.7219	14	0.314648	0.6982
3000	Proposed	12	0.496317	0.7225	6	0.314490	0.7077

• 準ニュートン垂直FLフレームワークは、SGDベースのベースラインと比較して通信回数を削減する。
• 実験と同様に S, H, L を選択すると、テストデータでの損失とAUCをほぼ維持しつつ、より早い収束（エポック数の削減）を達成する。
• 暗号化ベースのフレームワークは各ラウンドのコストがやや高くなるが、曲率情報を活用することで総通信回数を削減する。
• クレジットスコアリングデータセットでの報告実験は、提案手法が複数の設定でエポック数を減少させ、損失やAUCの指標が同等かそれ以上であることを示す。
• 全体として、研究された垂直分割設定において、一階アプローチに対する通信効率の改善を示している。