[논문 리뷰] FedJudge: Federated Legal Large Language Model

Linan Yue, Qi Liu외 4명|arXiv (Cornell University)|2023. 09. 15.

Artificial Intelligence in Law인용 수 4

한 줄 요약

FedJudge는 데이터 프라이버시, 계산 오버헤드, 데이터 분포 이탈 문제를 해결하는 최초의 법적 대규모 언어모델(Large Language Models, LLMs)을 위한 분산 학습 프레임워크이다. LoRA(저랭크 미세조정)와 지속 학습 기법을 활용하여 전역 지식을 유지하면서도 원시 데이터를 현지에 유지함으로써, 법적 작업에서 최신 기술 성능을 달성한다.

ABSTRACT

Large Language Models (LLMs) have gained prominence in the field of Legal Intelligence, offering potential applications in assisting legal professionals and laymen. However, the centralized training of these Legal LLMs raises data privacy concerns, as legal data is distributed among various institutions containing sensitive individual information. This paper addresses this challenge by exploring the integration of Legal LLMs with Federated Learning (FL) methodologies. By employing FL, Legal LLMs can be fine-tuned locally on devices or clients, and their parameters are aggregated and distributed on a central server, ensuring data privacy without directly sharing raw data. However, computation and communication overheads hinder the full fine-tuning of LLMs under the FL setting. Moreover, the distribution shift of legal data reduces the effectiveness of FL methods. To this end, in this paper, we propose the first Federated Legal Large Language Model (FedJudge) framework, which fine-tunes Legal LLMs efficiently and effectively. Specifically, FedJudge utilizes parameter-efficient fine-tuning methods to update only a few additional parameters during the FL training. Besides, we explore the continual learning methods to preserve the global model's important parameters when training local clients to mitigate the problem of data shifts. Extensive experimental results on three real-world datasets clearly validate the effectiveness of FedJudge. Code is released at https://github.com/yuelinan/FedJudge.

연구 동기 및 목표

• 법원 및 법률 사무소와 같은 기관 간 원시 데이터 공유를 방지함으로써 법적 LLM 학습 시 데이터 프라이버시 문제를 해결한다.
• 분산 학습 환경에서 대규모 언어모델의 미세조정 시 계산 및 통신 오버헤드를 최소화한다.
• 이질적인 법적 클라이언트(예: 법원 대비 법률 상담소) 간 데이터 분포 이탈로 인한 성능 저하를 완화한다.
• 파arameter 효율적이고 지속 학습 기법을 활용한 확장 가능하며 개인정보 보호가 보장된 고품질 법적 LLM 학습 프레임워크를 개발한다.

제안 방법

• 기본 LLM 가중치를 동결하면서만 가속 가능한 랭크 행렬을 업데이트하는 파라미터 효율적 미세조정을 위한 LoRA(Low-Rank Adaptation)를 적용한다.
• 전체 모델 가중치 교환과는 달리 클라이언트와 서버 간에 오직 LoRA 파라미터만 교환함으로써 통신 오버헤드를 크게 감소시킨다.
• 지속 학습 기법을 적용하여 Eq. 3에 제시된 정규화 손실을 사용해 로컬 모델이 학습 도중 중요한 전역 지식을 상실하지 않도록 한다.
• FedAvg 스타일의 집계를 통해 클라이언트로부터 수집된 오직 LoRA 파라미터만을 사용해 전역 모델을 업데이트한다.
• 전역 지식을 유지하면서도 로컬 데이터 분포에 적응하는 개인화된 클라이언트 모델(예: CL-Client)을 도입한다.
• 이중 학습 전략을 활용: 전역 모델은 분산 집계를 통해 학습하고, 로컬 모델은 지식 유지 제약 조건 하에 미세조정한다.

Fig. 1 : (a) An example in the court client. (b) An example in the legal consultation client.

실험 결과

연구 질문

• RQ1 원시 데이터 공유 없이도 법적 작업에 대해 대규모 언어모델을 효과적으로 분산 학습으로 미세조정할 수 있는가?
• RQ2 법적 LLM을 분산 환경에서 미세조정할 때 통신 및 계산 오버헤드를 어떻게 최소화할 수 있는가?
• RQ3 법률 기관 간 데이터 분포 이탈(예: 법원 대비 상담소)이 분산 법적 LLM의 성능에 얼마나 큰 영향을 미치는가?
• RQ4 지속 학습 기법이 이질적인 데이터 분포 하에서 분산 법적 LLM의 일반화 능력과 지식 유지 능력을 향상시킬 수 있는가?

주요 결과

• FedJudge-CL은 대부분의 지표에서 전역 모델(FedJudge-Base)과 개인화 기준 모델(Base-Client)을 모두 능가하여, 지속 학습이 분포 이탈 문제 완화에 효과적임을 입증한다.
• 개인화 모델인 CL-Client3는 법적 추론 작업에서 가장 높은 성능을 기록했으며, 복잡한 사례를 정확히 추론하고 답변했다. 반면 Baichuan-7B와 Center는 잘못되거나 무관한 응답을 보였다.
• Center-Client1은 자신의 데이터에서는 4.87 BertScore 향상되었지만, 다른 클라이언트의 데이터에서는 실패(예: Client1에서 4.47 BLEU-N)하여 이질적 데이터에서 중앙집중식 학습의 한계를 보여주었다.
• FedJudge-CL은 원시 전역 데이터에 접근하지 못함에도 불구하고 중앙집중 모델(Center)과 경쟁 가능한 성능을 기록하여, 법적 LLM에서 분산 학습의 실현 가능성을 입증했다.
• LoRA의 사용으로 통신 및 계산 비용이 크게 감소하여 자원 제약이 있는 클라이언트에서도 효율적인 미세조정이 가능해졌다.
• 지속 학습 제약 조건(Eq. 3)은 로컬 모델과 전역 모델 간의 가중치 분산을 효과적으로 줄여 전역 지식을 유지하고 전역 모델 품질을 향상시켰다.

Fig. 2 : An overview of FedJudge, where represents trainable weights and denotes frozen LLMs.