[논문 리뷰] Legal Syllogism Prompting: Teaching Large Language Models for Legal Judgment Prediction

Cong Jiang, Xiaolei Yang|arXiv (Cornell University)|2023. 07. 17.

Artificial Intelligence in Law인용 수 4

한 줄 요약

이 논문은 대량의 언어 모델(Large Language Models, LLMs)이 법적 판단을 예측할 수 있도록 하는 제로샷 프롬프팅 방법인 법적 연역법 프롬프팅(LoT)을 소개한다. 이 방법은 법적 연역법의 형태로 추론를 구조화함으로써, 주요 전제(법률), 부차적 전제(사실), 결론(판결)의 형식을 취한다. CAIL2018 중국 형사사건 데이터셋에서 LoT는 프롬프팅 기반의 기준 모델 및 체인 오브 써모(Chain-of-Thought) 프롬프팅보다 제로샷 법적 판단 예측에서 뛰어난 성능을 보이며, 파라미터 미세조정이나 레이블이 부여된 예시 없이도 법적 추론의 구조화를 통해 모델의 해석 가능성과 투명성을 높인다.

ABSTRACT

Legal syllogism is a form of deductive reasoning commonly used by legal professionals to analyze cases. In this paper, we propose legal syllogism prompting (LoT), a simple prompting method to teach large language models (LLMs) for legal judgment prediction. LoT teaches only that in the legal syllogism the major premise is law, the minor premise is the fact, and the conclusion is judgment. Then the models can produce a syllogism reasoning of the case and give the judgment without any learning, fine-tuning, or examples. On CAIL2018, a Chinese criminal case dataset, we performed zero-shot judgment prediction experiments with GPT-3 models. Our results show that LLMs with LoT achieve better performance than the baseline and chain of thought prompting, the state-of-art prompting method on diverse reasoning tasks. LoT enables the model to concentrate on the key information relevant to the judgment and to correctly understand the legal meaning of acts, as compared to other methods. Our method enables LLMs to predict judgment along with law articles and justification, which significantly enhances the explainability of models.

연구 동기 및 목표

• 딥 러닝 기반의 기존 법적 판단 예측(LJP) 모델에서의 해석 가능성 부족 문제를 해결하기 위해.
• 파라미터 미세조정이나 레이블이 부여된 예시 없이도 대량의 언어 모델(Large Language Models, LLMs)이 제로샷 법적 판단 예측을 수행할 수 있도록 하기 위해.
• 법적 연역법—법률, 사실, 판단—의 구조화된 추론 방식을 통해 모델의 해석 가능성을 향상시키기 위해.
• 관련 사실과 적절한 죄명을 구분하는 데 있어 모델의 선택성과 민감도를 향상시키기 위해.
• LLMs가 법적으로 일관되고 설명 가능한 판단을 프롬프팅 프레임워크만으로도 생성할 수 있음을 입증하기 위해.

제안 방법

• LoT는 주요 전제(법적 규칙), 부차적 전제(사건 사실), 결론(판결)으로 구성된 세 가지 요소로 추론를 명시적으로 구조화하는 프롬프팅 템플릿을 도입한다.
• LLM이 구조화된 연역적 추론을 생성하도록 유도하기 위해 '법적 연역법에 따라 생각해 봅시다'와 같은 단순한 지시어를 사용한다.
• 파라미터 미세조정이나 레이블이 부여된 예시를 사용하지 않으며, 모델은 입력된 사건 기술과 사전 학습된 지식에서 직접 연역법을 생성한다.
• LLM의 본질적 추론 능력을 활용하기 위해 출력 형식을 법적 논리에 맞게 제약함으로써 관련 사실과 법적 규칙에 집중하도록 유도한다.
• GPT-3를 사용하여 CAIL2018 데이터셋에서 제로샷 설정으로 평가하며, 표준 LJP 메트릭을 통해 성능을 측정한다.
• 향후에는 법조항 정확도 향상을 위해 후처리를 사용할 수 있으나, 이는 핵심 메서드의 일부가 아니다.

실험 결과

연구 질문

• RQ1 LoT와 같은 단순한 프롬프팅 방법이 파라미터 미세조정이나 레이블이 부여된 예시 없이도 LLM이 제로샷 법적 판단 예측을 수행할 수 있는가?
• RQ2 법적 연역법의 형태로 추론를 구조화하면 관련 사실과 법적 규칙에 집중하는 데 있어 모델의 선택성이 향상되는가?
• RQ3 체인 오브 써모 프롬프팅 대비 LoT의 정확도와 해석 가능성 측면에서 법적 판단 예측 성능은 어떻게 비교되는가?
• RQ4 LLMs가 법적 데이터에 대한 명시적 학습 없이도 단지 연역법의 구조만으로 법적으로 일관된 판단을 생성할 수 있는가?
• RQ5 LoT는 단일 행동 시퀀스에 기반해 여러 법적 죄명을 구분하는 데 있어 민감도를 어느 정도 향상시키는가?

주요 결과

• LoT는 CAIL2018 데이터셋에서 제로샷 법적 판단 예측에서 기준 모델 및 체인 오브 써모 프롬프팅을 크게 앞서는 성능을 보였다.
• LoT를 사용한 모델는 관련 법적 규칙에만 집중함으로써 체인 오브 써모 출력에서 흔히 볼 수 있는 불필요한 세부사항을 피하는 데서 더 높은 선택성을 보였다.
• LoT는 여러 행동을 하나의 법적 죄명(예: 사기)으로 통합하여 올바르게 처리함으로써 민감도를 향상시켰으며, 과도하게 분리하여 여러 죄명으로 나누는 것을 방지했다.
• 적용 가능한 법조항과 근거를 포함한 완전한 연역법을 생성함으로써 설명 가능성과 사법 판단 관행에 부합하는 추론을 향상시켰다.
• LoT를 통해 LLM은 파라미터 미세조정이나 예시 제시 없이도 제로샷 환경에서 정확한 판단과 완전한 법적 추론을 생성할 수 있었다.
• 결과적으로 법적 연역법 프롬프팅이 LLM의 연역적 추론 능력을 법적 과제에 효과적으로 해금하는 데 성공했다.