[논문 리뷰] How Does NLP Benefit Legal System: A Summary of Legal Artificial Intelligence

Haoxi Zhong, Chaojun Xiao외 4명|arXiv (Cornell University)|2020. 04. 25.

Artificial Intelligence in Law참고 문헌 106인용 수 25

한 줄 요약

이 논문은 자연어 처리(NLP)가 재판 예측, 케이스 매칭, 법적 질문 응답과 같은 법적 작업을 어떻게 향상시키는지 중점적으로 다루며, 법적 인공지능(LegalAI)의 현황을 검토한다. 임베딩 기반 딥러닝 모델과 상징적 규칙 기반 접근 방식을 비교하고, 지식 모델링, 법적 추론, 해석 가능성 분야의 핵심 과제를 규명하며, 실제 법적 응용에서 성능과 신뢰성을 향상시키기 위한 하이브리드 프레임워크를 제안한다.

ABSTRACT

Legal Artificial Intelligence (LegalAI) focuses on applying the technology of artificial intelligence, especially natural language processing, to benefit tasks in the legal domain. In recent years, LegalAI has drawn increasing attention rapidly from both AI researchers and legal professionals, as LegalAI is beneficial to the legal system for liberating legal professionals from a maze of paperwork. Legal professionals often think about how to solve tasks from rule-based and symbol-based methods, while NLP researchers concentrate more on data-driven and embedding methods. In this paper, we introduce the history, the current state, and the future directions of research in LegalAI. We illustrate the tasks from the perspectives of legal professionals and NLP researchers and show several representative applications in LegalAI. We conduct experiments and provide an in-depth analysis of the advantages and disadvantages of existing works to explore possible future directions. You can find the implementation of our work from https://github.com/thunlp/CLAIM.

연구 동기 및 목표

• 기술적 접근 방식을 실제 법적 수요와 맞추기 위해 NLP 연구자와 법적 전문가 간 격차를 메우기 위해.
• LegalAI의 핵심 과제인 지식 모델링, 법적 추론, 해석 가능성의 문제를 규명하고 해결하기 위해.
• 최신 NLP 모델의 법적 질문 응답(LQA) 성능을 평가하고, 다단계 추론 및 법적 개념 이해의 한계를 부각하기 위해.
• 성능을 높이고 해석 가능성을 확보하기 위해 임베딩 기반 모델과 상징적 방법을 융합한 하이브리드 접근 방식을 권장하여 법적 시스템에서 윤리적이고 신뢰할 수 있는 구현을 보장하기 위해.
• 향후 연구 및 개발을 지원하기 위해 오픈소스 구현을 포함한 LegalAI 데이터셋 및 도구의 종합적 벤치마크를 제공하기 위해.

제안 방법

• 임베딩 기반 딥러닝 모델(예: BERT, BiDAF, Co-matching)과 법적 추론 및 해석 가능성에 적합한 상징적 규칙 기반 시스템을 융합한 이중 방법 프레임워크를 제안한다.
• BiLSTM, CNN, 그리고 트랜스포머 기반 모델(예: BERT)과 같은 신경망 아키텍처를 활용하여 법적 텍스트를 인코딩하고, 법적 데이터셋에서 결과를 예측한다.
• 증거 검색, 다단계 추론, 어텐션 메커니즘을 활용한 답변 생성을 포함하는 다단계 파이프라인을 도입하여 법적 질문 응답을 수행한다.
• 28,641道의 질문과 79,433건의 지원 문서를 포함한 대규모 변호사 자격시험 벤치마크인 JEC-QA 데이터셋을 활용하여 모델 성능을 광범위하게 평가한다.
• 제로샷 및 피셔샷 학습을 비교하는 하이브리드 평가 전략을 사용하며, 지식 기반 질문과 사례 분석 질문 간의 모델 행동을 분석한다.
• CLAIM 프레임워크와 법적 데이터셋 컬렉션을 GitHub에 공개하여 LegalAI 연구의 재현 가능성과 벤치마크를 촉진한다.

실험 결과

연구 질문

• RQ1 임베딩 기반 및 상징적 방법은 법적 NLP 작업에서 성능과 해석 가능성 측면에서 어떻게 비교되는가?
• RQ2 지식 모델링, 법적 추론, 해석 가능성 분야에서 법적 시스템에 실제 구현을 방해하는 주요 과제는 무엇인가?
• RQ3 BERT와 BiDAF와 같은 현재의 NLP 모델은 다단계 추론이 필요한 복잡한 법적 질문 응답 작업으로 일반화되는 정도는 어느 정도인가?
• RQ4 신경망 임베딩과 상징적 규칙를 융합한 하이브리드 접근 방식은 법적 의사결정 지원 시스템의 성능과 투명성을 향상시킬 수 있는가?
• RQ5 JEC-QA와 같은 대규모 고품질 법적 데이터셋은 인간 전문가와 AI 모델 간의 법적 추론 성능 격차를 어떻게 줄일 수 있는가?

주요 결과

• BERT와 BiDAF와 같은 기존 NLP 모델은 인간 전문가에 비해 법적 질문 응답 작업에서 성능이 열등하며, 특히 복잡한 추론이 필요한 사례 분석 질문에서 뚜렷한 성능 격차를 보인다.
• 지식 기반 질문에서 인간과 모델 간의 성능 격차가 가장 두드러지며, 이는 법적 개념 이해 및 지식 모델링 분야의 심각한 과제를 시사한다.
• 모델들은 다단계 추론에서 어려움을 겪는데, 이는 여러 법적 조항이나 사례 세부 정보로부터 정보를 통합하여 정확한 답변를 도출하지 못하기 때문이다.
• 상징적 방법은 더 높은 해석 가능성을 제공하지만 일반화 능력이 떨어지며, 임베딩 기반 모델은 높은 정확도를 달성하지만 투명성 결여와 편향 등의 윤리적 리스크를 야기할 수 있다.
• JEC-QA 데이터셋은 모델이 사실 확인 작업에서는 더 정확한 반면 추론 작업에서는 낮은 정확도를 보여, 향상된 추론 아키텍처가 필요함을 시사한다.
• 신경망 표현과 상징적 규칙 시스템을 융합한 하이브리드 접근 방식이 실제 법적 응용에서 성능, 신뢰성, 윤리적 책임을 균형 있게 확보하기 위해 필수적임이 드러났다.