[논문 리뷰] A Dataset for Statutory Reasoning in Tax Law Entailment and Question Answering

Nils Holzenberger, Andrew Blair-Stanek외 1명|arXiv (Cornell University)|2020. 05. 11.

Artificial Intelligence in Law인용 수 26

한 줄 요약

이 논문은 미국 세법 조항과 자연어 질문으로 구성된 법적 규칙 기반 정밀 추론이 요구되는 StAtutory Reasoning Assessment (SARA) 데이터셋을 소개한다. 최첨단 NLP 모델을 법적 텍스트에 대해 미세조정해도, 수작업으로 구성된 Prolog 기반의 상징적 시스템에 비해 성능이 열등하며, 이는 100% 정확도를 기록함으로써 법적으로 구속력이 있는 자연어 규칙을 추론하는 데서의 과제를 드러낸다.

ABSTRACT

Legislation can be viewed as a body of prescriptive rules expressed in natural language. The application of legislation to facts of a case we refer to as statutory reasoning, where those facts are also expressed in natural language. Computational statutory reasoning is distinct from most existing work in machine reading, in that much of the information needed for deciding a case is declared exactly once (a law), while the information needed in much of machine reading tends to be learned through distributional language statistics. To investigate the performance of natural language understanding approaches on statutory reasoning, we introduce a dataset, together with a legal-domain text corpus. Straightforward application of machine reading models exhibits low out-of-the-box performance on our questions, whether or not they have been fine-tuned to the legal domain. We contrast this with a hand-constructed Prolog-based system, designed to fully solve the task. These experiments support a discussion of the challenges facing statutory reasoning moving forward, which we argue is an interesting real-world task that can motivate the development of models able to utilize prescriptive rules specified in natural language.

연구 동기 및 목표

• 법적 자연어 처리를 위한 대규모이고 체계적인 자원의 부족, 특히 법령 해석에 초점을 맞춘 자원의 부족을 해결하기 위해.
• 현대적인 NLP 모델이 자연어로 표현된 규범적 법적 규칙을 효과적으로 추론할 수 있는지 조사하기 위해.
• 세법 분야의 실제 법령 해석의 복잡성을 반영한 벤치마크 데이터셋을 제공하기 위해.
• 신경망 기반 NLP 모델과 상징적 추론 시스템을 대조하여 현재 접근 방식의 한계를 드러내기 위해.
• 법적 NLP 분야에서 의미 구문 분석과 데이터 효율적 학습에 대한 향후 연구를 촉진하기 위해.

제안 방법

• SARA 데이터셋은 미국 내부수입코드의 일부 조항에서 유래되었으며, 법적 용어와 조건을 정의하는 규칙에 집중한다.
• 각 예시는 자연어로 된 법령 규칙과 사실 기반 사례 기술, 그리고 해당 규칙에 기반한 추론이 요구되는 질문으로 구성된다.
• 수작업으로 작성된 Prolog 기반 상징적 시스템은 각 법령 규칙을 논리적 술어로 표현하고 사례에 대해 정확한 추론을 수행한다.
• 신경망 기반 NLP 모델은 법적 도메인 텍스트에 대해 미세조정된 후, SARA 데이터셋에서 함의관계 및 질문-답변 작업을 평가한다.
• 신경망 및 상징적 시스템의 성능을 동일한 테스트 케이스에서 비교하여 추론 능력을 고립적으로 분석한다.
• 향후 법적 NLP 및 상징적 추론 연구를 지원하기 위해 데이터셋을 공개적으로 배포한다.

실험 결과

연구 질문

• RQ1 최첨단 신경 기반 기계독해 모델은 상당한 미세조정 없이도 세법 분야의 법령 해석 작업에 일반화할 수 있는가?
• RQ2 신경망 기반 NLP 모델과 상징적 Prolog 기반 시스템 간의 법령 해석 작업 성능는 어떻게 비교되는가?
• RQ3 현재의 NLP 모델이 규범적 법적 언어의 논리적 구조를 얼마나 잘 포착하지 못하는가?
• RQ4 자연어로 작성된 법령 조항 기반의 데이터 효율적이고 정확한 법적 추론 시스템을 구축할 때의 주요 과제는 무엇인가?
• RQ5 고성능 법령 해석을 달성하기 위해 의미 구문 분석이 필수적인가, 아니면 엔드 투 엔드 신경망 모델을 더 효과적으로 만들 수 있는가?

주요 결과

• 법적 도메인 텍스트에 대해 미세조정된 신경망 NLP 모델도 SARA 데이터셋에서 초기 성능이 낮게 나타나, 규범적 법적 규칙을 추론하는 데서의 심각한 한계를 보여준다.
• 수작업으로 구성된 Prolog 기반 상징적 시스템은 모든 테스트 케이스에서 100% 정확도를 기록하여, 규칙가 정확하게 인코딩되어 있다면 상징적 추론이 이 작업을 완전히 해결할 수 있음을 입증한다.
• 신경망 모델과 상징적 시스템 간의 성능 격차는 현재 NLP 접근 방식이 법령 언어의 논리적 구조를 견고하게 포착하지 못하고 있음을 시사한다.
• 데이터셋은 자연어로 작성된 법적 텍스트가 비록 자연어이지만, 매우 구조화되고 규칙 기반의 논리적 구조를 포함하고 있으며, 분포 기반 NLP 모델이 이를 해석하기 어렵다는 점을 드러낸다.
• 고품질 법적 학습 데이터의 부족과 높은 비용은 이 분야에서 데이터 집약적인 신경망 모델의 확장성을 제한한다.
• 결과적으로 향후 발전은 법적 추론을 위한 개선된 의미 구문 분석 또는 더 데이터 효율적인 학습 메커니즘에 의존할 가능성이 높다.