[논문 리뷰] How well do SOTA legal reasoning models support abductive reasoning?

Ha-Thanh Nguyen, Randy Goebel외 3명|arXiv (Cornell University)|2023. 04. 14.

Artificial Intelligence in Law인용 수 7

한 줄 요약

이 논문은 법적 AI에서 중요한 역할를 하지만 여전히 탐색이 부족한 추론 유형인 추론적 추론(abductive reasoning)에 대해 최신 기술(SOTA) 법적 추론 모델을 평가한다. 498,697개 샘플으로 구성된 새로운 논리 증강 데이터셋을 사용하여, SOTA 법적 모델들—특히 미세조정된 BERT 변종과 GPT-3—이 추론적 추론 과제에서 원본 BERT Base 모델보다 성능이 열 劣함을 발견함으로써, 현재 법적 AI 시스템의 핵심적 한계를 드러낸다. 이는 다른 법적 NLP 과제에서는 강력한 성능을 보이지만 추론적 추론에서는 그렇지 못함을 시사한다.

ABSTRACT

We examine how well the state-of-the-art (SOTA) models used in legal reasoning support abductive reasoning tasks. Abductive reasoning is a form of logical inference in which a hypothesis is formulated from a set of observations, and that hypothesis is used to explain the observations. The ability to formulate such hypotheses is important for lawyers and legal scholars as it helps them articulate logical arguments, interpret laws, and develop legal theories. Our motivation is to consider the belief that deep learning models, especially large language models (LLMs), will soon replace lawyers because they perform well on tasks related to legal text processing. But to do so, we believe, requires some form of abductive hypothesis formation. In other words, while LLMs become more popular and powerful, we want to investigate their capacity for abductive reasoning. To pursue this goal, we start by building a logic-augmented dataset for abductive reasoning with 498,697 samples and then use it to evaluate the performance of a SOTA model in the legal field. Our experimental results show that although these models can perform well on tasks related to some aspects of legal text processing, they still fall short in supporting abductive reasoning tasks.

연구 동기 및 목표

• 최신 기술(SOTA) 법적 추론 모델이 추론적 추론이라는 법적 논증과 해석의 핵심 기술을 지원하는지 조사하기 위해.
• 법적 이론과 실무에서 중요하지만 자주 간과되는 추론적 추론 평가의 격차를 메우기 위해.
• 엄밀한 평가를 가능하게 하기 위해 추론적 추론을 위한 신뢰할 수 있는 논리 증강 데이터셋을 구축하기 위해.
• 미세조정된 BERT 변종과 GPT-3를 포함한 SOTA 법적 모델들의 추론적 추론 과제에서 일반 목적의 BERT Base 모델과의 성능을 비교하기 위해.
• 현재의 사전학습 접근 방식이 추론적 추론 패턴과의 일치가 부족함을 드러내기 위해, 법적 AI의 학습 전략에 대한 한계를 밝히기 위해.

제안 방법

• 관찰에서 가설 생성에 중점을 두어 L’ART 데이터셋 내에서 추론적 추론 과제를 재정의하여 신뢰성과 명확성을 향상시켰다.
• L’ART 및 ${\alpha}NLI$ 데이터셋의 기존 예시를 재정의하고 증강하여 총 498,697개 샘플로 구성된 논리 증강 데이터셋을 구축하였다.
• BERT Base, Legal BERT, BERTLaw, BERT Large, NFSP를 포함한 다양한 SOTA 트랜스포머 기반 모델을 법적 도메인에 맞게 미세조정하였다.
• 보존된 테스트 세트를 사용하여 이진 분류 과제로서의 추론적 추론 성능을 평가하였으며, 신뢰성을 확보하기 위해 반복 실험을 실시하였다.
• 기준으로 삼기 위해 GPT-3의 제로샷 추론을 포함하였지만, 도메인 불일치 및 미세조정 부족으로 인해 직접 비교 대상으로 하지 않았다.
• 과적합 여부를 모니터링하고 일관된 성능을 확보하기 위해 검증 정확도를 사용하였다.

실험 결과

연구 질문

• RQ1 SOTA 법적 추론 모델은 일반 목적 모델 대비 추론적 추론 과제에서 얼마나 잘 수행되는가?
• RQ2 법적 텍스트에 대해 BERT를 미세조정하면 원본 BERT Base 대비 추론적 추론 능력이 향상되는가?
• RQ3 모델 크기와 아키텍처는 법적 NLP 과제에서 추론적 추론 성능에 어떤 영향을 미치는가?
• RQ4 기존의 대규모 언어 모델(GPT-3)은 미세조정 없이도 법적 맥락에서 추론적 추론을 수행할 수 있는가?
• RQ5 학습 데이터의 구조와 품질은 법적 AI 모델의 추론적 추론 성능에 어느 정도의 영향을 미치는가?

주요 결과

• 원본 BERT Base 모델이 추론적 추론 과제에서 모든 미세조정된 법적 모델들—Legal BERT, BERTLaw, BERT Large—보다 뛰어난 성능을 보였으며, 테스트 정확도는 61.62%였다.
• Legal BERT와 BERTLaw와 같은 법적 전용 모델들은 낮은 성능(각각 56.19% 및 53.71% 테스트 정확도)을 보였으며, 이는 법적 추론에 치우친 데이터 편향이 추론적 추론 능력 향상에 영향을 미칠 수 있음을 시사한다.
• 더 큰 용량을 지닌 BERT Large는 테스트 정확도 50.00%로 성능이 열 떨어져, 모델 크기 증가가 추론적 추론 성능 향상에 반드시 이어지지 않음을 보여준다.
• GPT-3의 제로샷 성능(49.59% 정확도)은 테스트된 모든 모델 중에서 가장 열 떨어졌으며, 이는 법적 추론적 추론에서 제로샷 일반화의 한계를 드러낸다.
• 검증 세트와 테스트 세트의 성능이 반복 실험 전반에 걸쳐 거의 동일하여 과적합이 심각하지 않음을 확인하였으며, 이는 평가의 신뢰성을 강화한다.
• 결과는 현재 법적 AI 모델의 사전학습 전략이 추론적 추론 패턴과 일치하지 않음을 시사하며, 법적 텍스트에서 필요한 가설 생성 패턴을 모델이 학습하지 못하고 있음을 나타낸다.