[論文レビュー] LightFR: Lightweight Federated Recommendation with Privacy-preserving Matrix Factorization

Honglei Zhang, Fangyuan Luo+3 more|arXiv (Cornell University)|Jun 23, 2022

Privacy-Preserving Technologies in Data被引用数 20

ひとこと要約

LightFRは学習によるハッシュを用いて二値のユーザー/アイテムコードを生成する連合型レコメンド系で、プライバシー保護、効率的で大規模な推奨を実現する連合離散最適化アルゴリズムを備えています。

ABSTRACT

Federated recommender system (FRS), which enables many local devices to train a shared model jointly without transmitting local raw data, has become a prevalent recommendation paradigm with privacy-preserving advantages. However, previous work on FRS performs similarity search via inner product in continuous embedding space, which causes an efficiency bottleneck when the scale of items is extremely large. We argue that such a scheme in federated settings ignores the limited capacities in resource-constrained user devices (i.e., storage space, computational overhead, and communication bandwidth), and makes it harder to be deployed in large-scale recommender systems. Besides, it has been shown that transmitting local gradients in real-valued form between server and clients may leak users' private information. To this end, we propose a lightweight federated recommendation framework with privacy-preserving matrix factorization, LightFR, that is able to generate high-quality binary codes by exploiting learning to hash technique under federated settings, and thus enjoys both fast online inference and economic memory consumption. Moreover, we devise an efficient federated discrete optimization algorithm to collaboratively train model parameters between the server and clients, which can effectively prevent real-valued gradient attacks from malicious parties. Through extensive experiments on four real-world datasets, we show that our LightFR model outperforms several state-of-the-art FRS methods in terms of recommendation accuracy, inference efficiency and data privacy.

研究の動機と目的

• 大規模なアイテムセットを対象とした連合レコメンダーシステム（FRS）の効率性とプライバシーに対処する。
• ストレージ・通信・推論コストを削減するため、実数埋め込みを二値コードに置き換える軽量モデルを提案する。
• 生の勾配を漏らさずに二値ユーザー/アイテムコードを訓練する連合離散最適化アルゴリズムを開発する。
• 二値形の離散勾配を転送することでプライバシーを確保し、実数勾配攻撃から保護する。
• 実世界データセット上で最先端のFRS手法に対する有効性と効率の向上を実証する。

提案手法

• 連合設定で学習-to-hashにより二値コードとしてユーザーとアイテムを表現する。
• サーバ上の二値アイテム行列 D とクライアント上の二値ユーザーベクトル b_u を用いる。
• ハミング空間における類似度を sim(b_u, d_i) = 1/2 + (1/(2f)) b_u^T d_i と定義する。
• 情報エントロピーを保つためのバランス制約を組み合わせた局所再構成損失を含む連合ハッシュ目標を形成する。
• 交互の連合離散最適化によって最適化する： (i) 離散座標降下法を用いた b_u の局所離散最適化、(ii) サーバ上での d_i のグローバル離散集約。
• 実数勾配の漏洩を防ぐため離散勾配を用いたFedAvg風の通信パターンで訓練する。

実験結果

リサーチクエスチョン

• RQ1 リソース制約デバイス上でメモリ・通信・計算を削減しつつ、連合レコメンダーシステムは高精度を達成するにはどうすればよいか？
• RQ2 連合設定で学習-to-hashベースの表現は、大規模なアイテムカタログに対してプライバシー保護を確保しつつ有効な推奨を提供できるか？
• RQ3 連合離散最適化フレームワークは、実数勾配を公開せずに二値のユーザー/アイテムコードを効率的に訓練できるか？
• RQ4 既存のFRS手法と比べたとき、LightFRにおける精度・ストレージ・推論速度・プライバシーのトレードオフはどうなるか？

主な発見

• LightFRは二値のユーザー/アイテム表現を実現し、ストレージと通信コストを削減しつつ競争力のある推奨を維持する。
• 本フレームワークは実数の内積計算を、ハミング空間での高速ビット演算に置き換え、効率的な検索を実現する。
• 離散座標降下法による局所離散更新とグローバル集約による連合離散最適化アルゴリズムは、プライバシー制約下で二値コードの訓練を実現可能にする。
• 4つの実世界データセットでの実験により、LightFRは有効性・推論効率・プライバシー保護の点でいくつかの最先端のFRS手法を上回ることを示した。