[논문 리뷰] LegalBench: Prototyping a Collaborative Benchmark for Legal Reasoning

Neel Guha, Daniel E. Ho외 2명|arXiv (Cornell University)|2022. 09. 13.

Artificial Intelligence in Law인용 수 12

한 줄 요약

LegalBench는 IRAC 프레임워크를 기반으로 다양한 법적 추론 유형을 포괄하는, 협업적이고 개방형 벤치마크를 제안한다. 초도 결과는 더 큰 모델이 더 작은 모델보다 성능이 뛰어나며, 체인 오브 토우그(Chain-of-Thought) 프롬프팅이 성능을 향상시키고, 분류 작업은 적용 또는 문제 식별 작업보다 더 쉽다는 것을 보여주며, 이는 법적 맥락에 특화된 프롬프팅 전략의 필요성을 시사한다.

ABSTRACT

Can foundation models be guided to execute tasks involving legal reasoning? We believe that building a benchmark to answer this question will require sustained collaborative efforts between the computer science and legal communities. To that end, this short paper serves three purposes. First, we describe how IRAC-a framework legal scholars use to distinguish different types of legal reasoning-can guide the construction of a Foundation Model oriented benchmark. Second, we present a seed set of 44 tasks built according to this framework. We discuss initial findings, and highlight directions for new tasks. Finally-inspired by the Open Science movement-we make a call for the legal and computer science communities to join our efforts by contributing new tasks. This work is ongoing, and our progress can be tracked here: https://github.com/HazyResearch/legalbench.

연구 동기 및 목표

• 기초 모델이 특화된 지식과 다단계 추론이 필요한 미묘한 법적 추론 작업을 평가할 수 있는 벤치마크가 부족한 데 대응하기 위해.
• 법률 및 컴퓨터 과학 전문가들로부터 새로운 법적 추론 작업을 지속적으로 기여할 수 있는 커뮤니티 기반, 데이터 중심의 벤치마크를 만들기 위해.
• 기초 모델이 어떤 법적 추론 유형을 효과적으로 수행할 수 있고, 어떤 프롬프팅 전략이 법적 맥락에서 가장 효과적인지 연구하기 위해.
• 법적 전문가들을 대체하기보다는 보조할 수 있는 안전하고 윤리적이며 신뢰할 수 있는 AI 도구의 개발을 지원하기 위해.
• 법률 학자들과 컴퓨터 과학자들이 법적 AI 평가 및 발전을 위해 상호 협력할 수 있도록 장려하기 위해.

제안 방법

• 벤치마크는 법적 추론 작업을 체계적으로 분류하기 위해 IRAC 프레임워크(문제, 규칙, 적용, 결론)를 기반으로 구성된다.
• 계약, 헌법법, 형사법, 지적재산권의 네 가지 법적 분야에서 총 44개의 초도 작업이 선정되었다.
• 각 작업은 자연어 지시와 레이블이 붙은 예시를 사용하여 기초 모델을 안내하는 소수의 샘플 학습 문제로 설계되었다.
• 작업에는 분류, 결론 예측, 문제 식별이 포함되며, 성능 평가에는 F1(macro) 스코어가 사용된다.
• 체인 오브 토우그 프롬프팅과 인라인 컨텍스트 예시를 체계적으로 테스트하여 모델 성능에 미치는 영향을 평가한다.
• 벤치마크는 GitHub에 호스팅되어 있어 커뮤니티 기여를 통해 새로운 작업을 지속적으로 기여하고, 새로운 기초 모델의 평가를 지속적으로 수행할 수 있다.

실험 결과

연구 질문

• RQ1 기초 모델이 효과적으로 수행할 수 있는 법적 추론 유형(예: 규칙 적용, 문제 식별, 결론 생성 등)은 무엇인가?
• RQ2 다양한 법적 추론 작업에서 서로 다른 기초 모델 아키텍처와 크기의 성능은 어떻게 다른가?
• RQ3 체인 오브 토우그나 인라인 컨텍스트 예시와 같은 프롬프팅 전략이 법적 추론 성능에 얼마나 기여하는가?
• RQ4 법적 언어의 어휘적 및 구조적 특성이 일반 도메인 작업과 비교해 기초 모델 성능에 어떤 영향을 미치는가?
• RQ5 이 벤치마크는 신뢰할 수 있고, 감사 가능하며 윤리적으로 바람직한 법적 실무용 AI 도구 개발을 지원할 수 있는가?

주요 결과

• 모든 법적 추론 작업 유형에서 더 큰 기초 모델이 더 작은 모델보다 일관되게 뛰어난 성능을 보이며, 모델 규모와 성능 간의 강한 상관관계를 시사한다.
• 동일한 아키텍처일지라도 사전학습 데이터와 지시 미세조정 방식의 차이로 인해 성능에 상당한 차이가 발생한다.
• 기초 모델은 분류 작업에서 가장 뛰어난 성능을 보이며, 적용 및 문제 식별 작업에서 가장 열악한 성능을 보이며, 이는 복잡한 다단계 법적 추론에 어려움을 겪고 있음을 시사한다.
• 일부 문제 식별 작업에서는 인라인 컨텍스트 예시가 근본적으로 미미한 향상을 가져오며, 이는 성능이 주로 프롬프트의 명확성과 모델이 작업 설명을 이해하는 능력에 의해 주로 결정된다는 것을 시사한다.
• 체인 오브 토우그 프롬프팅은 여러 작업 유형에서 성능을 크게 향상시키며, 이는 추론의 투명성과 정확성을 향상시키는 데서 가치를 지닌다는 것을 입증한다.
• 기초 모델은 정보 추출 및 관계 추출 작업에서 더 뛰어난 성능을 보이며, 이는 이러한 형식으로 표현 가능한 법적 추론 작업이 현재 모델에게 더 다룰 수 있는 문제임을 시사한다.