[논문 리뷰] Legal Prompt Engineering for Multilingual Legal Judgement Prediction

Dietrich Trautmann, Alina Petrova외 1명|arXiv (Cornell University)|2022. 12. 05.

Artificial Intelligence in Law인용 수 31

한 줄 요약

논문은 다국어 법적 판단 예측(LJP)을 위한 제로샷 법적 프롬프트 엔지니어링이 장문 법률 문서에서 가능하다는 것을 보이고, ECHR (English) 및 FSCS (German, French, Italian)에서 제로샷 프롬프트가 단순한 baselines를 능가하지만 감독된 최첨단 모델보다는 뒤처진다.

ABSTRACT

Legal Prompt Engineering (LPE) or Legal Prompting is a process to guide and assist a large language model (LLM) with performing a natural legal language processing (NLLP) skill. Our goal is to use LPE with LLMs over long legal documents for the Legal Judgement Prediction (LJP) task. We investigate the performance of zero-shot LPE for given facts in case-texts from the European Court of Human Rights (in English) and the Federal Supreme Court of Switzerland (in German, French and Italian). Our results show that zero-shot LPE is better compared to the baselines, but it still falls short compared to current state of the art supervised approaches. Nevertheless, the results are important, since there was 1) no explicit domain-specific data used - so we show that the transfer to the legal domain is possible for general-purpose LLMs, and 2) the LLMs where directly applied without any further training or fine-tuning - which in turn saves immensely in terms of additional computational costs.

연구 동기 및 목표

• 장문 법률 문서에서의 Legal Judgment Prediction (LJP)를 위한 제로샷 Legal Prompt Engineering (LPE)의 타당성을 입증한다.
• European Court of Human Rights (English)와 Federal Supreme Court of Switzerland (German, French, Italian) 데이터세트에서 다국어 LJP 성능을 평가한다.
• 도메인 특화 파인튜닝 없이 제로샷 LPE가 baselines 및 감독된 최첨단 결과와 비교하여 어떤지 평가한다.

제안 방법

• 장문 문서를 대상으로 LJP를 자연어 질의 문제로 바꾸기 위해 이산적이고 수동적인 법적 프롬프트를 사용하여 변환한다.
• 데이터 특화 학습 없이 다국어 LLM들(mGPT, GPT-J-6B, GPT-NeoX-20B 등)을 사용한 제로샷 프롬핑을 적용한다.
• 매우 긴 입력(최대 2048 토큰)을 처리하면서 모델 출력이 이진 예/아니오 판단(A vs B)으로 향하도록 프롬프트를 반복적으로 설계한다.
• ECHR (English)와 FSCS (German, French, Italian)에서 macro-F1, precision, recall 등 지표로 프롬프트를 평가한다.
• 모델의 추론 과정을 이해하고 실제 라벨과의 불일치 원인을 파악하기 위해 완성 샘플을 분석한다.

실험 결과

연구 질문

• RQ1 제로샷 Legal Prompt Engineering (LPE)가 장문의 실제 법원 문서에서 작업 특화 파인튜닝 없이 Legal Judgment Prediction (LJP)을 가능하게 하는가?
• RQ2 제로샷 LPE가 다국어 법률 데이터셋(ECHR English; FSCS German, French, Italian)에서 바운더리 baselines 및 감독 모델과 비교하여 어떤 성능을 보이는가?
• RQ3 제로샷 LJP에서 어떤 프롬프트 설계 및 출력 구성(예: 토큰 길이)이 macro-F1 및 관련 지표에 가장 유리한가?
• RQ4 모델 완성에서 나타나는 질적 특성(예: 기사 목록, 설명)과 이것이 업무 성과와 어떤 관련이 있는가?

주요 결과

• 제로샷 LPE가 LJP에서 macro-F1, precision, recall 면에서 간단한 baselines를 능가하지만 감독된 최첨단 결과보다는 미치지 못한다.
• 다국어 LLM들(mGPT, GPT-J-6B, GPT-NeoX-20B)을 사용하여 영어, 독일어, 프랑스어, 이탈리아어의 언어에서도 프롬프트가 효과적이었다.
• 긴 문서는 2048 토큰으로 잘라 처리하였고 출력 시퀀스 길이는 최적의 성능을 위해 약 50 토큰 정도로 조정해야 했다.
• 완성의 변동성이 존재하며 일부 출력은 위반된 기사 목록이나 설명을 제공하지만 표적 설명을 모두 만족하는 단일 사례는 없었다.
• 감독된 전체 모델과 비교하면 제로샷 프롬프트는 명확한 성능 격차를 보이나 추가 파인튜닝이나 도메인 특성 데이터 없이도 도메인 이전이 가능함을 보여준다.