[論文レビュー] FedJudge: Federated Legal Large Language Model

Linan Yue, Qi Liu+4 more|arXiv (Cornell University)|Sep 15, 2023

Artificial Intelligence in Law被引用数 4

ひとこと要約

FedJudgeは、データプライバシー、計算オーバーヘッド、データ分布のシフトに対処する、法的大型言語モデル（LLM）を訓練するための最初のフェデレーテッドラーニングフレームワークである。パラメータ効率の良いLoRAファインチューニングと継続的ラーニングを活用し、グローバルな知識を保持することで、原始的なデータをローカルに保ったまま、法的タスクで最先端のパフォーマンスを達成している。

ABSTRACT

Large Language Models (LLMs) have gained prominence in the field of Legal Intelligence, offering potential applications in assisting legal professionals and laymen. However, the centralized training of these Legal LLMs raises data privacy concerns, as legal data is distributed among various institutions containing sensitive individual information. This paper addresses this challenge by exploring the integration of Legal LLMs with Federated Learning (FL) methodologies. By employing FL, Legal LLMs can be fine-tuned locally on devices or clients, and their parameters are aggregated and distributed on a central server, ensuring data privacy without directly sharing raw data. However, computation and communication overheads hinder the full fine-tuning of LLMs under the FL setting. Moreover, the distribution shift of legal data reduces the effectiveness of FL methods. To this end, in this paper, we propose the first Federated Legal Large Language Model (FedJudge) framework, which fine-tunes Legal LLMs efficiently and effectively. Specifically, FedJudge utilizes parameter-efficient fine-tuning methods to update only a few additional parameters during the FL training. Besides, we explore the continual learning methods to preserve the global model's important parameters when training local clients to mitigate the problem of data shifts. Extensive experimental results on three real-world datasets clearly validate the effectiveness of FedJudge. Code is released at https://github.com/yuelinan/FedJudge.

研究の動機と目的

• 法廷や法律事務所などの機関間での原始的データ共有を避けることで、法的LLMの訓練におけるデータプライバシー懸念に対処すること。
• フェデレーテッドラーニング環境下での大規模言語モデルのファインチューニングにおける計算および通信のオーバーヘッドを低減すること。
• 異種の法的クライアント（例：法廷 vs. 法律コンサルタント）間でのデータ分布のシフトが引き起こすパフォーマンスの低下を軽減すること。
• パラメータ効率的および継続的ラーニング技術を用いて、スケーラブルでプライバシーを守る高品質な法的LLMの訓練フレームワークを開発すること。

提案手法

• パラメータ効率の良いファインチューニングのためのLoRA（低ランク適応）を採用し、ベースのLLM重みを凍結したまま、トレーニング可能なランク行列のみを更新する。
• クライアントとサーバー間で送信するのはLoRAパラメータのみであり、全モデルパラメータの交換と比較して通信オーバーヘッドを著しく削減する。
• 継続的ラーニングに正則化損失（式3）を適用し、トレーニング中に重要なグローバル知識をローカルモデルが忘れないようにする。
• FedAvgスタイルの集約を用いて、クライアントからのローカルパラメータの集約のみでグローバルモデルを更新する。
• グローバル知識を維持しながらローカルデータ分布に適応する、パーソナライズされたクライアントモデル（例：CL-Client）を導入する。
• 二重トレーニング戦略を採用：グローバルモデルはフェデレーテッド集約で訓練され、ローカルモデルは知識保持制約付きでファインチューニングされる。

Fig. 1 : (a) An example in the court client. (b) An example in the legal consultation client.

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングを用いて、データプライバシーを守りながら法的タスクのための大規模言語モデルを効果的にファインチューニングできるか？
• RQ2 法的LLMのフェデレーテッド環境下でのファインチューニングにおいて、通信および計算のオーバーヘッドをどのように最小化できるか？
• RQ3 法的機関（例：法廷 vs. コンサルタント）間でのデータ分布のシフトが、フェデレーテッド法的LLMのパフォーマンスにどの程度悪影響を及えるか？
• RQ4 継続的ラーニング技術は、異種のデータ分布下でフェデレーテッド法的LLMの一般化能力および知識保持能力を向上させることができるか？

主な発見

• FedJudge-CLは、ほとんどの指標でグローバルモデル（FedJudge-Base）およびパーソナライズドベースライン（Base-Client）を上回り、分布シフトの緩和に継続的ラーニングの有効性を示している。
• パーソナライズドモデルであるCL-Client3は、法的推論タスクで最良のパフォーマンスを示し、複雑な事例を正しく推論・回答した。一方、Baichuan-7BおよびCenterは誤ったまたは関係のない回答を出力した。
• Center-Client1は自らのデータでは優れたパフォーマンス（BertScoreで4.87ポイント向上）を示したが、他のクライアントのデータでは失敗（例：Client1でBLEU-Nが4.47）しており、異種データを伴う集中型トレーニングの限界を示している。
• FedJudge-CLは、グローバルな原始データにアクセスせずに、集中型モデル（Center）と同等の結果を達成しており、法的LLMにおけるフェデレーテッドラーニングの実用性を裏付けている。
• LoRAの使用により、通信および計算コストが著しく削減され、リソース制約のあるクライアントでも効率的なファインチューニングが可能になった。
• 継続的ラーニング制約（式3）により、ローカルモデルとグローバルモデルの重みの乖離が効果的に低減され、グローバル知識の保持が図られ、グローバルモデルの品質が向上した。

Fig. 2 : An overview of FedJudge, where represents trainable weights and denotes frozen LLMs.