[論文レビュー] A Federated Framework for LLM-based Recommendation

Jujia Zhao, Wenjie Wang+3 more|arXiv (Cornell University)|Feb 15, 2024

Recommender Systems and Techniques被引用数 6

ひとこと要約

PPLRは、動的バランスと柔軟なストレージを用いて、LLMベースのレコメンダーシステムのファインチューニングにおけるプライバシー保護を実現する連合フレームワークを提供し、クライアントの性能とリソースコストのバランスを取りつつ、高精度を維持します。

ABSTRACT

Large Language Models (LLMs) have empowered generative recommendation systems through fine-tuning user behavior data. However, utilizing the user data may pose significant privacy risks, potentially leading to ethical dilemmas and violations of data protection regulations. To address the privacy concerns, Federated Learning for Recommendation (Fed4Rec) has been identified as a promising solution. However, directly applying Fed4Rec in the LLM context introduces two challenges: 1) exacerbated client performance imbalance, which ultimately impacts the system's long-term effectiveness, and 2) substantial client resource costs, posing a high demand for clients' both computational and storage capability to locally train and infer LLMs. To tackle these challenges, we propose a federated framework for LLM-based recommendation (shorted as FELLRec). Generally, FELLRec designs two key strategies. 1) Dynamic balance strategy, which designs dynamic parameter aggregation and learning speed for different clients, aiming to ensure balanced performance across clients. 2) Flexible storage strategy, which selectively retains certain sensitive LLM layers on the client side, while offloading other layers to the server, aiming to preserve privacy while saving resources. Experiment results show that FELLRec can achieve a more balanced client performance and improved overall performance in a computational and storage-efficient way while safeguarding user privacy well.

研究の動機と目的

• LLMベースのレコメンダーシステムのファインチューニングにおけるプライバシー懸念と、Fed4Rec適応の必要性を動機づける。
• LLMベースの推奨へFed4Recを適用する際の課題を特定する。特にクライアント間の性能の不均衡と高いリソースコスト。
• これらの課題に対処するための、Privacy-Preserving LLM-based Recommendation (PPLR) フレームワークを提案する。
• PPLRがプライバシーを保護しつつ、クライアント性能の均衡とリソース効率の高い学習/推論を実現することを示す。

提案手法

• 動的バランスと柔軟なストレージという2つの戦略を用いた、クライアント-サーバー型のFed4Rec設定を採用する。
• LoRAベースのクライアント個別化を用いて各クライアントのパラメータを保持し、学習中に残りのLLMパラメータを固定する。
• クライアントごとに同様度に基づく注意機構を用いた動的パラメータ集約を実装して、ピア寄与を重み付けする。
• クライマリューションのヒーティング学習法を導入して、クライアント局所損失に基づいて学習速度を適応させる。
• 非機密なLLM層をサーバーへオフロードしてクライアントのストレージ/計算を削減する一方、入力/出力層はクライアントに保持してプライバシーを保護する。
• 3データセットを対象にR@KとNDCG@K指標を10/20アイテム順位で用いて評価し、MF, LightGCN, FedMF, LightFR, FedPerGNN, FedAvg, FedProx, BIGRec, RecFormerと比較する。

Figure 2. PPLR Structure. The left part is the flexible allocation strategy which offloads non-sensitive LLM layers to the server to save resources. The right part is the dynamic balance strategy which ensures relatively balanced performance across clients.

実験結果

リサーチクエスチョン

• RQ1 標準データセットにおける、PPLRのプライバシー保護あり/なしのベースラインに対する性能はどうか。
• RQ2 動的バランスと柔軟なストレージ要素が全体の性能とリソース使用に与える影響は？
• RQ3 バランス戦略とストレージ割り当てに関連するハイパーパラメータは結果にどう影響するか？
• RQ4 LLM層をサーバーへオフロードする場合のプライバシーとリソースのトレードオフは何か？

主な発見

手法	ゲーム R@10	ゲーム R@20	ゲーム N@10	ゲーム N@20	Microlens R@10	Microlens R@20	Microlens N@10	Microlens N@20	Book R@10	Book R@20	Book N@10	Book N@20
Centralized-based MF	0.0101	0.0164	0.0070	0.0090	0.0044	0.0063	0.0026	0.0032	0.0050	0.0089	0.0060	0.0071
LightGCN	0.0153	0.0234	0.0101	0.0127	0.0078	0.0116	0.0044	0.0055	0.0065	0.0120	0.0078	0.0093
FedMF	0.0065	0.0108	0.0044	0.0058	0.0029	0.0045	0.0021	0.0027	0.0050	0.0070	0.0034	0.0041
LightFR	0.0088	0.0139	0.0051	0.0069	0.0041	0.0055	0.0024	0.0044	0.0048	0.0079	0.0049	0.0061
FedPerGNN	0.0145	0.0229	0.0093	0.0121	0.0043	0.0060	0.0024	0.0029	0.0062	0.0112	0.0075	0.0089
BIGRec	0.0194	0.0316	0.0127	0.0164	0.0089	0.0132	0.0050	0.0062	0.0079	0.0097	0.0126	0.0116
+FedAvg	0.0145	0.0257	0.0093	0.0126	0.0021	0.0039	0.0012	0.0017	0.0081	0.0097	0.0119	0.0112
+FedProx	0.0143	0.0255	0.0090	0.0123	0.0033	0.0051	0.0032	0.0040	0.0081	0.0096	0.0120	0.0112
+PPLR	0.0158*	0.0274*	0.0104*	0.0139*	0.0088*	0.0128*	0.0051*	0.0062*	0.0085*	0.0102*	0.0124*	0.0116*
RecFormer	0.0193	0.0360	0.0117	0.0169	0.0190	0.0369	0.0104	0.0155	0.0318	0.0512	0.0333	0.038
+FedAvg	0.0149	0.0262	0.0089	0.0124	0.0096	0.0198	0.0048	0.0076	0.0095	0.0150	0.0104	0.0118
+FedProx	0.0150	0.0266	0.0086	0.0121	0.0086	0.0166	0.0041	0.0064	0.0103	0.0161	0.0113	0.0130
+PPLR	0.0175*	0.0322*	0.0101*	0.0146*	0.0163*	0.0279*	0.0072*	0.0105*	0.0274*	0.0409*	0.0274*	0.0300*

• PPLRは他のプライバシー保護ベースラインを一貫して上回り、中央集権的LLMベース手法と同等の性能を達成する。
• 動的パラメータ集約はFedAvgよりクライアント間のバランスを改善する。
• Curriculum Heatingによる動的学習速度はクライアントデータの異質性に適応し、学習効率を向上させる。
• 柔軟なストレージはクライアントのストレージと推論コストを削減しつつ精度を維持するが、攻撃リスクのトレードオフがあり、層の割り当てで緩和可能。
• Games、Microlens、Bookデータセットでは、1024-shotファインチューニングとLoRAを用いたPPLRはベースラインと競合する指標を達成する。例えば、PPLRはしばしばFedAvgおよびFedProxを上回る。
• 攻撃リスク分析は、サーバー側レイヤを増やすと再構成リスクが高まることを示しており、層の割り当て選択を通知する。