[논문 리뷰] Natural Language Processing in the Legal Domain

Daniel Katz, Dirk Hartung외 3명|arXiv (Cornell University)|2023. 02. 23.

Artificial Intelligence in Law인용 수 4

한 줄 요약

이 논문은 600篇 이상의 동료 심사된 논문으로 구성된 정제된 코퍼스를 바탕으로, 지난 10년간 자연어 처리 분야에서 법적 응용(Natural Language Processing in law, Legal NLP)의 발전을 종합적이고 데이터 기반으로 분석한다. 연구 결과, 방법론적 정교함이 증가하고 다국어 커버리지가 확대되며 재현 가능성 기준 준수가 높아지며, 이는 주류 NLP와의 전문적·기술적 수준의 균형에 도달한 분야의 성숙을 시사한다.

ABSTRACT

In this paper, we summarize the current state of the field of NLP & Law with a specific focus on recent technical and substantive developments. To support our analysis, we construct and analyze a nearly complete corpus of more than six hundred NLP & Law related papers published over the past decade. Our analysis highlights several major trends. Namely, we document an increasing number of papers written, tasks undertaken, and languages covered over the course of the past decade. We observe an increase in the sophistication of the methods which researchers deployed in this applied context. Slowly but surely, Legal NLP is beginning to match not only the methodological sophistication of general NLP but also the professional standards of data availability and code reproducibility observed within the broader scientific community. We believe all of these trends bode well for the future of the field, but many questions in both the academic and commercial sphere still remain open.

연구 동기 및 목표

• 지난 10년간 발표된 600편 이상의 연구 논문으로 구성된 종합적 코퍼스를 분석하여 Legal NLP의 현재 상태를 맵핑하기 위해.
• Legal NLP에서의 출판량, 연구 과제, 언어 커버리지 및 방법론적 정교함의 주요 추세를 규명하기 위해.
• 자료 공개 및 코드 재현 가능성과 같은 과학적 표준을 도입한 분야의 진전 정도를 평가하기 위해.
• 대규모 언어 모델(LLMs)과 도메인 특화 적응 기법이 법적 텍스트 이해를 어떻게 향상시키는지 평가하기 위해.
• 지속 가능한 연구 및 협업을 지원하기 위해 공동체가 유지 관리하는 살아있는 설문 조사 인프라를 구축하기 위해.

제안 방법

• 주요 NLP 학회(예: ACL, NAACL, EMNLP) 및 전문화된 법정보학 회의에서의 논문들을 바탕으로, 600편 이상의 Legal NLP 논문으로 구성된 거의 완전한 코퍼스를 구축하기 위해.
• 연구 과제, 방법, 언어, 데이터 소스를 포함하는 분류 체계를 사용하여 논문을 체계적으로 분류함으로써 종단 간 및 비교 분석이 가능하도록 하기 위해.
• 수집된 논문들의 인용 및 참고 문헌 그래프를 추출하고 시각화하기 위해 네트워크 분석 기법을 적용하기 위해.
• 공개 저장소와 웹 기반 인프라를 통한 공동체 기반 기여를 통해 코퍼스를 동적으로 유지 및 업데이트하기 위해.
• 출판 연도, 언어, 과제 유형 등의 메타데이터 통합을 통해 필터링 및 시계열 추세 분석이 가능하도록 하기 위해.
• 각 논문이 관련 코드 및 데이터와 연결되도록 하여 재현 가능성에 중점을 두고, 오픈 사이언스 관행을 촉진하기 위해.

실험 결과

연구 질문

• RQ1 지난 10년간 출판 수, 과제, 언어 측면에서 Legal NLP 연구의 규모와 다양성은 어떻게 변화해 왔는가?
• RQ2 Legal NLP는 주류 NLP 연구에서 관찰되는 방법론적 및 재현 가능성 기준을 어느 정도 도입했는가?
• RQ3 일반 목적의 대규모 언어 모델(Large Language Models, LLMs)과 도메인 적응 모델 간의 성능 비교는 어떻게 이루어지는가?
• RQ4 생성 모델은 현재 및 향후 Legal NLP 연구에서 과학적 문헌 검토 및 지식 통합 측면에서 어떤 역할을 하는가?
• RQ5 공동체 기반의 개방형 인프라는 Legal NLP 연구의 지속 가능성과 접근성 향상에 어떻게 기여할 수 있는가?

주요 결과

• 지난 10년간 Legal NLP 논문의 수가 크게 증가하여, 이 분야에 대한 학계 및 산업계의 관심이 증가하고 있음을 반영한다.
• 언어 커버리지의 다양성이 뚜렷이 증가하여, 더 넓고 포괄적인 연구 범위로 확장되고 있음을 나타낸다.
• 방법론적 정교함이 향상되어 연구자들이 점점 더 최신의 NLP 기법, 특히 트랜스포머 기반 모델과 파라미터 미세조정 전략을 활용하고 있다.
• Legal NLP는 주류 NLP 공동체에서 관찰되는 자료 공개 및 코드 재현 가능성 기준에 점차 다가서며, 과학적 엄밀함이 향상되고 있음을 시사한다.
• 일반 목적 LLM의 확산에도 불구하고, 도메인 특화 미세조정 및 프롬프트 엔지니어링은 복잡한 법적 과제에서 여전히 뛰어난 성능을 내고 있다.
• 신경망 모델이 법적 서비스의 스케일업 잠재력을 지닌다는 점이 주목받으며, 법적 출판사, 법학원, 법원 등 기관 및 기업의 관심이 증가함에 따라 분야의 성숙이 나타나고 있다.