[논문 리뷰] Large Language Model Prompt Chaining for Long Legal Document Classification

Dietrich Trautmann|arXiv (Cornell University)|2023. 08. 08.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 사용한 소수의 예시를 통한 맥락 학습(few-shot in-context learning)을 활용하여 장문의 법적 문서를 분류하기 위한 프롬프트 체이닝 프레임워크를 제안한다. 이 프레임워크는 문서 요약, 예시의 의미적 검색, 반복적 프롬프팅을 통합한다. 두 개의 법적 텍스트 분류 작업에서 제로샷 GPT-3.5-turbo보다 높은 마이크로-F1 스코어를 기록하며, 더 큰 모델들조차도 더 작고 효율적인 LLM들을 사용함으로써 뛰어난 성능을 달성한다.

ABSTRACT

Prompting is used to guide or steer a language model in generating an appropriate response that is consistent with the desired outcome. Chaining is a strategy used to decompose complex tasks into smaller, manageable components. In this study, we utilize prompt chaining for extensive legal document classification tasks, which present difficulties due to their intricate domain-specific language and considerable length. Our approach begins with the creation of a concise summary of the original document, followed by a semantic search for related exemplar texts and their corresponding annotations from a training corpus. Finally, we prompt for a label - based on the task - to assign, by leveraging the in-context learning from the few-shot prompt. We demonstrate that through prompt chaining, we can not only enhance the performance over zero-shot, but also surpass the micro-F1 score achieved by larger models, such as ChatGPT zero-shot, using smaller models.

연구 동기 및 목표

• 특수한 어휘와 구조를 지닌 장문의 복잡한 법적 문서를 분류하는 데 도전하는 데 목적을 두며.
• 비용이 많이 드는 미세조정과 전문가가 주석을付けた 데이터셋에 대한 의존도를 줄이기 위해 소수의 예시 프롬프팅을 활용한다.
• 모듈러하고 해석 가능한 프롬프트 체이닝 전략을 통해 제로샷 프롬프팅에 비해 분류 성능을 향상시키는 데 목적이 있다.
• 작은 LLM이 제로샷 설정에서 GPT-3.5-turbo와 같은 더 큰 모델을 뛰어넘을 수 있는지 평가하는 데 목적이 있다.
• 실제 벤치마크를 활용하여 프롬프트 체이닝이 법적 NLP 작업에서 실현 가능하고 효과적인지 입증하는 데 목적이 있다.

제안 방법

• 먼저 입력된 법적 문서의 압축된 요약을 생성하여 맥락 길이를 줄이고 핵심 내용을 유지한다.
• 다음으로 의미적 검색을 수행하여 훈련 코퍼스에서 관련된 예시 문서와 그 레이블을 검색한다.
• 검색된 예시들을 레이블과 결합하여 소수의 예시 프롬프트를 구성하고, 맥락 학습 신호를 제공한다.
• LLM을 사용하여 입력 문서와 소수의 예시들을 기반으로 최종 레이블을 예측하며, 체인된 프롬프팅 파이프라인을 형성한다.
• 프롬프트 체인을 순차적으로 적용한다: 요약 → 검색 → 분류, 이를 통해 단계별 추론과 개선된 맥락 인식 능력을 확보한다.
• 비용을 줄이면서도 성능을 유지하거나 향상시키기 위해 더 큰 모델 대신 더 작은 LLMs(GPT-NeoX, FLAN-UL2 등)를 활용한다.

Figure 1 : Prompt Chaining for Legal Document Classification

실험 결과

연구 질문

• RQ1 제로샷 프롬프팅에 비해 프롬프트 체이닝이 장문의 법적 문서 분류 성능을 향상시킬 수 있는가?
• RQ2 구조화된 프롬프트 체이닝을 사용할 경우, 더 작은 LLM이 제로샷 설정에서 GPT-3.5-turbo와 같은 더 큰 모델을 뛰어넘을 수 있는가?
• RQ3 문서 요약과 예시 검색의 활용이 법적 텍스트 분류의 레이블 예측 정확도를 향상시키는가?
• RQ4 소수의 예시 프롬프팅에서 높은 빈도의 법적 문제 카테고리와 낮은 빈도의 카테고리 간 성능은 어떻게 다를까?
• RQ5 프롬프트 체이닝은 법적 문서 분류에서의 해석 가능성과 디버깅 가능성에 얼마나 기여하는가?

주요 결과

• 프롬프트 체이닝 접근법은 SCOTUS 테스트 세트에서 마이크로-F1 스코어 0.779를 기록하여 제로샷 GPT-3.5-turbo의 결과인 0.438를 초월했다.
• ECHR 데이터셋에서 개발 세트에서는 마이크로-F1이 0.770, 테스트 세트에서는 0.779를 기록하며 제로샷 GPT-NeoX를 뛰어넘었다.
• 높은 빈도의 클래스(예: 형사 절차, 연방 세제)에서는 더 뛰어난 성능을 보였으며, F1 스코어는 각각 0.742와 0.695였다.
• 테스트 세트에서 마크로-F1가 감소했음에도 불구하고 마이크로-F1는 높은 수준을 유지하여 주로 다수의 클래스에서의 강력한 성능을 보여주었다.
• 혼동 행렬을 분석한 결과, 시민권 및 사법권과 같은 문제 영역이 '기타'로 체계적으로 잘못 분류된 것으로 나타나, 클래스 불균형 문제의 영향을 확인할 수 있었다.
• 이 접근법은 구조화된 프롬프팅과 맥락 학습을 활용할 경우 더 작은 LLM이 더 큰 모델보다 뛰어난 성능을 낼 수 있음을 입증했다.

Figure 2 : Confusion matrix for the dev. set of ECHR .