[논문 리뷰] Explaining Legal Concepts with Augmented Large Language Models (GPT-4)

Jaromír Šavelka, Kevin D. Ashley외 3명|arXiv (Cornell University)|2023. 06. 15.

Artificial Intelligence in Law인용 수 19

한 줄 요약

이 논문은 법적 용어의 직접적인 GPT-4 설명과 retrieved한 판례 문장을 포함하는 보강된 GPT-4 설명을 비교하여 보강이 사실성 및 전반적 품질을 향상시키고 환각을 감소시킨다는 것을 발견합니다.

ABSTRACT

Interpreting the meaning of legal open-textured terms is a key task of legal professionals. An important source for this interpretation is how the term was applied in previous court cases. In this paper, we evaluate the performance of GPT-4 in generating factually accurate, clear and relevant explanations of terms in legislation. We compare the performance of a baseline setup, where GPT-4 is directly asked to explain a legal term, to an augmented approach, where a legal information retrieval module is used to provide relevant context to the model, in the form of sentences from case law. We found that the direct application of GPT-4 yields explanations that appear to be of very high quality on their surface. However, detailed analysis uncovered limitations in terms of the factual accuracy of the explanations. Further, we found that the augmentation leads to improved quality, and appears to eliminate the issue of hallucination, where models invent incorrect statements. These findings open the door to the building of systems that can autonomously retrieve relevant sentences from case law and condense them into a useful explanation for legal scholars, educators or practicing lawyers alike.

연구 동기 및 목표

• 법령 조항에서 개방형 텍스트 용어를 법률 전문가에게 설명하는 GPT-4의 능력을 평가합니다.
• 사실성 정확성과 학습 데이터 의존성 측면에서 직접 GPT-4 설명의 한계를 평가합니다.
• 법률 정보 검색(판례 문장)을 이용해 GPT-4를 보강하면 환각이 감소하고 설명 품질이 향상되는지 테스트합니다.
• 판례에서 설명 문장을 검색하고 이를 설명으로 응축하는 파이프라인을 시연합니다.
• 보강된 GPT-4가 전문가용 법률 환경에서 기본 GPT-4보다 우수한지 벤치마크를 제공합니다.

제안 방법

• Baseline: 외부 컨텍스트 없이 원천 조항의 용어를 설명하도록 GPT-4에 직접 프롬프트를 제공합니다.
• Augmented: 용어를 참조하는 판례의 고가치 설명 문장을 검색해 GPT-4의 프롬프트에 주입합니다.
• 보강용으로 42개의 용어와 1,853개의 고가치 문장을 포함하는 법령 해석 데이터 세트를 사용합니다.
• 용어당 두 가지 설명을 생성합니다: 짧은 버전(1문장)과 긴 버전(10문장).
• 두 명의 법학자가 다섯 가지 품질 차원에서 쌍대 설명을 주석합니다.
• 기본 출력과 보강 출력 간에 사실성, 명료성, 관련성, 정보 풍부성, 적합성 등을 비교합니다.

Figure 2: System Architectures Diagrams. The top part shows the baseline directly applying the LLM. The bottom part describes the components of the augmented architecture that relying on the information retrieval component.

실험 결과

연구 질문

• RQ1 GPT-4를 이용한 법령 해석의 직접적 설명 생성에서 한계는 무엇인가요?
• RQ2 관련 판례 문장을 이용한 GPT-4 보강이 사실성, 명료성, 관련성, 정보 풍부성, 적합성에서 설명 품질을 향상시키나요?

주요 결과

• 보강된 GPT-4 설명은 짧은 설명과 긴 설명 모두에서 보통 다수의 주석가들에게 기본 대비 선호됩니다.
• 보강된 설명은 기본의 사실성 평가에서 관측된 비인용 및 허위 진술 문제를 제거합니다.
• 보강된 설명은 기본에 비해 명료성, 관련성, 정보 풍부성, 적합성을 개선합니다.
• 기본 설명은 환각 및 인용 부정확성을 보이는 경우가 있으며 많은 인용은 실제 문헌이지만 사례를 오해하는 경우가 많습니다.
• 정보 검색 구성요소가 무관하거나 오해를 불러일으키는 판례 내용을 제공할 때 보강도 모든 문제를 완전히 제거하지는 못합니다; 고품질 IR이 중요합니다.
• 전반적으로 보강된 LLM은 법학 교육 및 실무에서 법령 용어 해석의 정확한 요약을 자동으로 생성하는 데 가능성을 보여줍니다.

Figure 3: Short Explanation Preferences. Red corresponds to the preferences for the explanations generated by the baseline system while green indicates preferences for the explanations coming from the augmented LLM. The yellow/orange informs about the number of instances where no preference was indi