[논문 리뷰] LexGPT 0.1: pre-trained GPT-J models with Pile of Law

Jieh-Sheng Lee|arXiv (Cornell University)|2023. 06. 05.

Artificial Intelligence in Law인용 수 4

한 줄 요약

이 논문은 법적 텍스트 생성 및 분류에 특화된 Pile of Law 데이터셋을 기반으로 사전 훈련된 GPT-J 기반의 LexGPT 0.1을 소개한다. 소스 코드 수정 없이 'No Code' 방식으로 미세조정된 모델들은 LEDGAR에서 83.9%의 마이크로-F1, CaseHOLD에서 49.6%의 정확도를 기록하여 법적 전문가가 최소한의 기술 전문성으로 맞춤형 분류기를 구축할 수 있음을 보여주지만, BERT 기반 최신 기술 모델에 비해 성능이 뒤처지는 경향이 있다.

ABSTRACT

This research aims to build generative language models specialized for the legal domain. The manuscript presents the development of LexGPT models based on GPT-J models and pre-trained with Pile of Law. The foundation model built in this manuscript is the initial step for the development of future applications in the legal domain, such as further training with reinforcement learning from human feedback. Another objective of this manuscript is to assist legal professionals in utilizing language models through the ``No Code'' approach. By fine-tuning models with specialized data and without modifying any source code, legal professionals can create custom language models for downstream tasks with minimum effort and technical knowledge. The downstream task in this manuscript is to turn a LexGPT model into a classifier, although the performance is notably lower than the state-of-the-art result. How to enhance downstream task performance without modifying the model or its source code is a research topic for future exploration.

연구 동기 및 목표

• Pile of Law 데이터셋을 사용하여 법적 도메인에 특화된 생성형 언어 모델을 개발한다.
• 소스 코드 수정 없이도 법적 전문가가 맞춤형 언어 모델을 생성할 수 있도록 'No Code' 접근 방식을 지원한다.
• LexGLUE 벤치마크를 사용하여 하류 법적 분류 작업에서 미세조정된 LexGPT 모델의 성능을 평가한다.
• 기존 BERT 기반 모델에 추가 분류 헤드를 적용한 방식과 비교해 생성형 GPT 모델의 제로샷 미세조정 방식 간 성능 격차를 탐구한다.
• 다중 레이블 및 장문 텍스트 작업에 생성형 모델을 적용할 때 발생하는 과제를 규명한다.

제안 방법

• 256GB 크기의 정제된 법적 및 행정 텍스트 코퍼스인 Pile of Law 데이터셋 전용으로 GPT-J 모델(456M 및 1.6B 파라미터)을 사전 훈련한다.
• 모델 아키텍처를 수정하지 않고 표준 Hugging Face 훈련 파이프라인을 사용해 하류 법적 분류 작업(LDGAR 및 CaseHOLD)에서 미세조정을 수행한다.
• 입력 텍스트에 맥락-프롬프트를 결합하고 후보 레이블을 제시하는 프롬프트 기반 분류 전략을 적용하며, 모델은 다음 토큰 예측을 통해 정답 레이블을 선택한다.
• 모델 아키텍처나 추가 분류 헤드 없이도 입력에서 직접 레이블 토큰을 생성하는 제로샷 프롬프팅 형식을 사용한다.
• LEDGAR에서 마이크로-F1 및 매크로-F1 점수, CaseHOLD에서 정확도를 사용해 성능을 평가하고 기존 BERT 기반 모델과 비교한다.
• 모델 입력 길이 제약 및 순차적 생성과의 호환성 문제로 인해 장문 텍스트 데이터셋(예: ECtHR, SCOTUS) 및 다중 레이블 작업(예: EUR-LEX, UNFAIR-ToS)은 제외했다.

Figure 1: Training loss

실험 결과

연구 질문

• RQ1 Pile of Law 데이터셋을 사전 훈련한 GPT-J 모델이 아키텍처 수정 없이도 법적 텍스트 분류 작업에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 'No Code' 미세조정 방식이 법적 전문가가 최소한의 기술 전문성으로 맞춤형 언어 모델을 구축하는 데 얼마나 효과적인가?
• RQ3 왜 미세조정된 GPT 모델은 전용 분류 헤드를 갖춘 기존 BERT 기반 모델에 비해 법적 NLU 벤치마크에서 성능이 열등한가?
• RQ4 문장 길이와 다중 레이블 분류 설정이 생성형 모델(LexGPT)의 법적 NLP 작업 성능에 어떤 영향을 미치는가?
• RQ5 아키텍처 수정 없이도 체인 오브 토우크(Chain-of-Thought) 프롬프팅이 분류 정확도 향상에 기여할 수 있는가?

주요 결과

• 1.6B 파라미터 LexGPT 모델은 LEDGAR 단일 레이블 분류 작업에서 마이크로-F1 점수 83.9%, 매크로-F1 점수 74.0%를 기록했으며, 456M 모델(마이크로-F1 83.5%, 매크로-F1 72.4%)보다 뛰어난 성능을 보였다.
• CaseHOLD 다중 선택 분류 작업에서 456M 모델은 49.6%의 정확도를 기록했으며, 랜덤 추측(20%)보다는 뚜렷이 높지만, 최신 기술 모델인 SOTA CaseLaw-BERT 모델의 75.4%에 비해 크게 뒤져 있었다.
• 최소한의 코드 수정으로도 LexGPT와 최신 기술 BERT 기반 모델 간의 성능 격차가 지속됨을 확인하여, 프롬프트 기반 미세조정 방식이 분류 작업에 한계를 가짐을 시사한다.
• 장문 텍스트 데이터셋(예: ECtHR, SCOTUS) 및 다중 레이블 작업(예: EUR-LEX, UNFAIR-ToS)은 모델 입력 길이 제약과 순차적 생성과의 부적합성으로 인해 제외되었다.
• 이 연구는 GPT 기반 모델이 소스 코드 변경 없이도 프롬프트 기반 미세조정을 통해 법적 분류 작업에 적합하게 조정될 수 있음을 확인하며, 법적 전문가를 위한 'No Code' 접근 방식의 타당성을 입증한다.
• 미래 연구에서는 체인 오브 토우크 프롬프팅이나 전용 데이터 포맷팅 기법이 BERT 기반 모델과의 성능 격차를 줄일 수 있는지 탐색할 필요가 있다.

Figure 2: Training loss